曾庆平SEO在之前的文章中谈到robots.txt的概念时，留下了一个问题：为什么曾庆平SEO写的robots.txt这么复杂？

机器人。txt:/robots。曾庆平SEO的txt旨在让搜索引擎看起来更规范、更权威。

1.使用robots.txt屏蔽类似页面或没有内容的页面。

正如我们所知，搜索引擎会在网页被包含后对其进行“检查”。当网页的相似度很高时，搜索引擎会删除这两个页面中的一个。

如果以下两个链接内容相似，则应阻止第一个链接。/bbs/redirect.php？tid=5167 goto=lastpostlastpost/BBS/thread-5167-1-1 . html

第一个里面有很多链接。屏蔽的时候，就屏蔽/bbs/redirect.php？它挡住了一切。代码：Disallow:/bbs/redirect.php？

像这样没有内容的页面，也应该被屏蔽：/index.php？像sid=247304 lang=Zha action=write comment tid=77 artlang=zh这样的链接有很多。屏蔽时，只屏蔽/index.php？Sid=屏蔽所有。

代码：Disallow:/index.php？sid=

2.使用robots.txt屏蔽冗余链接。当动态和静态共存时，动态链接通常会被删除。

网站中往往存在多个指向同一页面的链接，会让搜索引擎对网站的权威性产生怀疑。使用robots.txt删除非主链接。

如果以下两个链接指向同一个页面，请删除第二个链接。

/space.php？用户名=曾庆平搜索引擎优化

/space-uid-15.html

代码：Disallow:/space.php？用户名=

特别是主页通常有几个链接：/index.html等。这时，不要挡住index.html。因为index.htmlindex.php是默认主页，屏蔽可能导致蜘蛛爬行紊乱。

我们需要做的是在网站内外链接主页时统一使用/不使用index.html。这就是URL标准化的概念。

3.用机器人掩盖死链接

死链接是以前存在的链接和网页，由于修订或更新而被删除。例如，某个目录中的所有链接(假设目录是/tempweb/)现在都是死链接，所以它们可以被robots.txt屏蔽

代码：Disallow:/tempweb/

4.使用robots.txt屏蔽“Bei K”可能的外部链接。

很多网站允许用户放自己的网站链接，但是外部链接太多可能会给自己带来麻烦。因此，许多人将所有外部链接放入一个链接目录中，然后使用robots.txt来统一屏蔽它们。

如果你不清楚Disallow:的具体操作方法，可以在这里了解一下我之前发表的机器人文章。

本文来源于微信微信官方账号：平哥SEO优化(qingpingseo)原创链接：