|
可是事实上真的如斯么 事实证实淘宝的robots.txt文件基本对百度蜘蛛起不到任何作用。 -->小弟揣测百度之所以这么做是由于百度斟酌到策略方向的问题，因为查问了一下发明一些著名店铺在百度的排名都很不错。足以证明百度对淘宝这种店铺的主要性。更加戏曲化的是天猫网（淘宝商城）也是应用robots.txt协议的。同样屏蔽了百度蜘蛛。 小编想说的是当初的搜寻引擎为了本身好处而不遵守互联网协定的规则，是值得反思的，呐喊这种互联网至公司能在全部IT行业建立标榜。不要为了一己之私而不遵循游戏规矩。 就算是现在翻开淘宝的robots.txt协议，仍然能够看到淘宝还在屏蔽百度的蜘蛛。 直到现在京东商城等也在屏蔽一淘网的蜘蛛， 还有一种可能就是淘宝网以及天猫网的权重太高了，导致了百度蜘蛛不遵循搜索引擎协议而进行的抓取。不外对这种事件可以联想到前些日子，一淘网歹意抓取京东商城以及新蛋网等的商品数据，也是不遵循搜索引擎规则的。 大家都晓得大略是“百度有啊”上线之前，淘宝网为了防止百度恶意抓取，直接屏蔽了百度蜘蛛，也就是当时闹得满城风雨的robots.txt协议 。 看下图 同样百度采用的立场是猖狂抓取 如图 相关的主题文章： (责任编辑：admin) |