浅谈百度抓取淘宝那点事

同样百度采用的立场是猖狂抓取 如图

就算是现在翻开淘宝的robots,浅谈百度分享工具如何影响你网站的SEO.txt协议，仍然能够看到淘宝还在屏蔽百度的蜘蛛。

小弟揣测百度之所以这么做是因为百度斟酌到策略方向的问题，由于查问了一下发明一些著名店铺在百度的排名都很不错。足以证明百度对淘宝这种店铺的主要性。更加戏曲化的是天猫网（淘宝商城）也是应用robots.txt协议的。同样屏蔽了百度蜘蛛。

小编想说的是现在的搜寻引擎为了本身好处而不遵循互联网协议的规矩，是值得反思的，呐喊这种互联网至公司能在全部IT行业建立标榜。不要为了一己之私而不遵守游戏规则。

大家都晓得大略是&ldquo,浅谈电子商务发展之战略分析;百度有啊”上线之前,浅谈查询站的运营和推广，淘宝网为了防止百度歹意抓取，直接屏蔽了百度蜘蛛，也就是当时闹得满城风雨的robots.txt协定 。

可是事实上真的如斯么

直到当初京东商城等也在屏蔽一淘网的蜘蛛，

看下图

事实证实淘宝的robots.txt文件基本对百度蜘蛛起不到任何作用。

还有一种可能就是淘宝网以及天猫网的权重太高了，导致了百度蜘蛛不遵循搜索引擎协议而进行的抓取,浅谈我们该怎么设计好我们的网站？。不外对这种事件可以联想到前些日子,浅谈影响百度快照每天更新的几个原因，一淘网恶意抓取京东商城以及新蛋网等的商品数据，也是不遵循搜索引擎规则的。