标签：robots
小红书屏蔽了所有搜索引擎，蜘蛛遵守robots协议？
笔者之前没有留意到小红书屏蔽了搜索引擎，前个月才发现，我们先看下小红书的 robots.txt 文件，明确指定要屏蔽 Google、百n度、Bing（必应）、搜狗、一搜、...
YisouSpider，完全不遵受 Robots 协议的中国特色癌症蜘蛛！
话说，当年是周鸿祎做雅虎时搞的 yisou。其实 yisou 做的真不错，甚至 2005 年有一段时间比百度都好用，加上 3721 网络实名，确实有极大的上升势头。可是雅虎...
