一。屏蔽掉所有纯API页面。对那种纯API采集得到的页面进行屏蔽，可能在短时间会有一点的丧失，然而从长时间来看是利大于弊的。大家都知道淘宝的商品页面是不稳定的，常常被下架或者卖家不加入淘宝客推广后，你这个页面就不能在你的网站显示，这样的结果是你的网站页面不稳固，搜索引擎可能时常检测到被收录的页面从你的网站消散无法访问。还有一点是反复页面太多，成千上万的淘宝客网站都在采集, 如何应对中小网站之间的不正当竞争现象 ，蜘蛛匍匐至你的网站时，发现数据库里已经有大量雷同的数据。所以我们屏蔽掉这局部页面，不让蜘蛛抓取...