您知道Robots.txt正确写法吗？

       发现虫虫营销助手售后群有很多朋友不会写robots.txt，基本所有的站长都知道robots.txt作用，那么今天chongseo从新列举一下子常见的robots.txt实际运用中的误区，让一些新朋友知道robots.txt的写法。

误区1.Allow里面含有的范围超过Disallow，况且位置在Disallow面前。

譬如有众多人这么写：

User-agent: *

Allow: /

Disallow: /news/

想让全部baidu抓取本站除/news/下边的url以外的全部页面，严禁抓取/news/下边的全部url。

搜索引擎网站baidu执行的规则是从上到下，这么会导致第二句指示失去效力。也就是说严禁抓取/news/目次这条规则是失效的。准确的是Disallow应当在Allow之上，这么才会发生效力。

误区2.Disallow指示和Allow指示在这以后没有以斜杠”/”开头。

这个也很容易被不重视，譬如有人这么写Disallow: 123.html ，这种是没管用果的。斜杠”/”表达的是文件对于根目次的位置，假如不带的话，天然没有办法判断url是哪一个，所以是不正确的。

准确的应当是Disallow: /123.html，这么能力屏蔽/123.html这个文件，这条规则能力发生效力。

误区3.屏蔽的目次后没有带斜杠”/”。

也就是譬如想屏蔽抓取/news/这个目次，有点人这么写Disallow:/news。那末这么是否准确呢？

首先这么写（Disallow: /news）的确可以屏蔽/news/下边的全部url，然而同时也屏蔽了大致相似/news123.html这种开头为/news的全部页面，效果等同于Disallow: /news*。

准确的作法是，假如只想屏蔽目次，那末务必在结末带上斜杠”/”。