Robots文件看起来很简单，只有几行字符，但是作为搜索引擎进入我们站点后第一个访问的对象，其扮演的角色确是至关重要的。这几行字符中蕴含着很多的小细节。如果我们忽视这些小细节的话，robots文件不仅不能成为站点发展的踏脚石，更将可能成为影响站点发展的绊脚石，可以不客气的说一着不慎，经可能满盘皆输。下面笔者将在下文中根据三个案例分析我们写robots时因为不注重细节而引发的不可承受的“痛”。
问题一：语句的先后顺序颠倒
我们先来分析一段虽然很简单，但是被广泛应用的语句：
User-agent: *
Allow: /
Disallow: /1234/
从这三段robots语句中我们不能看出这原本的书写目的是要让搜索引擎不要爬行1234目录下面的页面，而其他的页面则没有限制。而事实上这段语句的执行效果与我们的目的是背道而驰的，为什么呢?分析后你会发现搜索引擎蜘蛛对于robots文件的读取顺序是从上到下的，如果你这么写的话这将会造成屏蔽语句失去原有的效力，修改的方法是将两者乾坤大挪移，将Disallow: /1234/与Allow: /位置对调就能实现我么想要的效果
问题二：屏蔽站点的某一个页面时，漏掉斜杠“/”
我们也经常使用robots屏蔽某一个敏感的不想搜索引擎爬行的页面，而在这条语句上我们也有很多细节想要注意，举个例子，假如加入我们想要屏蔽为于根目录下的登陆页面login.asp这一页面，有的站长可能会这么写：Disallow: login.asp，这乍一看没什么问题，但是笔者想要问一下你想要屏蔽的这个页面是位于什么目录的?是根目录或者是一级二级目录的?如果我们忽略前面的斜杠，搜索引擎蜘蛛无法知道该页面在哪里。修改的方法是：Disallow: /login.asp，这样才能真正的屏蔽位于根目录下面的login.asp这一登陆页面。
问题三：屏蔽站点的整个目录后，漏掉斜杠“/”
除了屏蔽单个页面，我想大多数站长更常使用的是屏蔽整个目录。同样举个案例，比如我们想屏蔽站点的某一个目录，如/seo/这一目录下面的页面，有的人可能会这样写Disallow: /seo。这样写是否正确呢?这样写不进有错，而且错很大，造成的危害也很大。我们这样虽然可以屏蔽掉/seo/这一目录下面的所有想干页面。但是也会波折到其他不相关的页面，这也将屏蔽开头为/seo的所有页面。其发挥的作用就如同是Disallow: /seo*。修改的方法很简单，即在我们需要屏蔽的目录名称后不要漏了斜杠，如Disallow: /seo/。
Robots文件可以保护我们的站点的一些文件不被搜索引擎抓取，同时也可以提升搜搜引擎的抓取效率。但是如果我们不注意细节的话，不仅得不到效果，还往往会适得其反。希望本文对于大家在写robots文件时有所帮助。文章由南京网络公司 原创，转载请保留我们的地址。
发表评论