今天从新列举一下常见的robots.txt实际应用中的误区：
这类黑帽SEO行动与过渡性质页面相似，是指网页制造两个以上的版本，提供给搜索引擎和用户的页面分辨是不同版本的页面，其中提供应搜素引擎的页面能够参加进步搜索引擎排名的要害词，而供给给用户的则是不同内容的另一版本页面。
俗话说：“不管白猫黑猫，能抓到老鼠的就是好猫”，对于白帽SEO和黑帽SEO，站长们现在都用辩证的角度来对待，能为网站提供有利前提的SEO行为，就是有用的SEO,成都做网站成都做网站到底什么价格。然而黑帽SEO行为不当，会造成搜索引擎直接K站，今天咱们来剖析下，搜索引擎是如何侦测并屏蔽网站的三大黑帽SEO行为。
Allow: /
因为和用户好处重大相悖，搜索引擎对于此类过渡性质的页面是疾恶如仇的。google用Google toolbar对用户在页面停留时间进行宏观的统计分析，若某个页面用户停留时间的统计成果很短，那么判断其为高可能性的过渡性质页面;百度则通过人工审核机制监测并进行人工干涉。无论是google仍是百度，一旦发明过渡性质页面的情形，就会破马把这个过渡性质页面和该过渡性质页面所归属的站点的主域名封闭屏蔽掉。
转载请注明来自逍遥博客，本文地址：
黑帽SEO与白帽SEO是两类不同的SEO行为，黑帽SEO也始终广受争议，那么黑帽SEO和白帽SEO的分界限是什么呢?笔者以为，白帽SEO是指遵照网络规则，辅助搜索引擎将用户须要的信息浮现出来的行为;黑帽SEO是指针对搜索引擎破绽做出一些SEO行为，让网站获得较实际程度靠前的排名。
误区2.Disallow命令和Allow命令之后没有以斜杠”/”开头。
3、自动生成内容
首先这样写(Disallow: /mulu)确切可以屏蔽/mulu/下面的所有url，不外同时也屏蔽了类似/mulu123.html这种开头为/mulu的所有页面，后果等同于Disallow: /mulu*。
当初google能较灵敏地辨认出网站的主动天生的无用内容跟完整剽窃宣布的内容。搜索引擎对抄袭内容的判定在于存在两个以上的URL的内容相同或者高度一致，则断定为反复内容。假如某个站点内充满着70%以上与其它网站存在与别的URL地址雷同或类似度极高的内容，会引起搜寻引擎对网站内容品质的质疑，导致搜索引擎从网页到网站的不等同级的处分，从下降排名到删除收录页面甚至直接K站。
误区1.Allow包括的范畴超过Disallow，并且地位在Disallow前面。
这类黑帽SEO行为是创立一个过渡性质的页面，并通过各种手段使其取得靠前的搜索引擎排名，当用户点击阅读时，过渡性质页面会自动跳转至另一个页面。这类黑帽SEO手腕违反了用户的初衷。
1、过渡性质页面
正确的做法是，如果只想屏蔽目录，那么必需在结尾带上斜杠”/”。
搜索引擎蜘蛛履行的规矩是从上到下，这样会造成第二句命令生效。也就是说制止抓取/mulu/目录这条规则是无效的。准确的是Disallow应当在Allow之上，这样才会生效。
想让所有蜘蛛抓取本站除/mulu/下面的url之外的所有页面，禁止抓取/mulu/下面的所有url。
正确的应该是Disallow: /123.html，这样才干屏蔽/123.html这个文件，这条规则能力生效。
2、页面多版本
这个也很容易被疏忽，好比有人这样写Disallow: 123.html ，这种是没有效果的。斜杠”/”表现的是文件对于根目录的位置,网页制作报价，如果不带的话，天然无奈判断url是哪个，所以是过错的。
转载请注明出处和链接!
如果不向用户提高优质的内容，而是采用以上黑帽SEO行为试图蒙蔽搜索引擎来提高排名和增长流量是不可取的，只管应用搜索引擎的一局部盲点，可以一时获利，然而会见临网站被屏蔽的危险，从久远发展而言是得失相当的。
User-agent: *
Disallow: /mulu/
也就是比方想屏蔽抓取/mulu/这个目录，有些人这样写Disallow: /mulu。那么这样是否正确呢?
误区3.屏蔽的目录后没有带斜杠”/”。
前几天写了robots.txt的规则误区并先容百度和Google的robots工具的使用，介绍了多少个robots.txt文件的规则的误区，而后发现实在不止那些，还有良多大家没有留神的误区。
目前搜索引擎对于这类黑帽SEO行为的检测方式在于，伪装成用户拜访页面与未假装前读取的页面进行比拟，技巧上较轻易用算法实现。因而页面多版本的黑猫行为较容易被搜索引擎所检测出，一旦为搜索引擎侦测到网站采用此类黑帽行为，那么网站被K是毫无悬念的。
某些站长深知按期更新内容对于搜索引擎蜘蛛而言有较大的吸引力，然而又感到原创内容费时费劲，想要钻搜索引擎蜘蛛的空子，就设置网站内容自动生成。自动生成包含盘算机程序自动生成内容(例如商品页面，除了产品照片不同的内容相似的产品详情页面)和用RSS等程序追踪读取非本站内容并发布两种。采取自动生成的黑帽SEO行为大批生成页面内容，站长们认为既节俭了较多的时光精神，又坚持了网站更新度和增添搜索引擎蜘蛛抓取网页的频率。
本文由 淘宝返利网
比如有许多人这样写：