笔者之前没有留意到小红书屏蔽了搜索引擎,前个月才发现,我们先看下小红书的 robots.txt 文件,明确指定要屏蔽 Google、百n度、Bing(必应)、搜狗、一搜、百度商务搜索等蜘蛛,其它未指定的蜘蛛也全部屏蔽。
User-agent:Googlebot
Disallow:/
User-agent:Baiduspider
Disallow:/
User-agent:bingbot
Disallow:/
User-agent:Sogou web spider
Disallow:/
User-agent:Sogou wap spider
Disallow:/
User-agent:YisouSpider
Disallow:/
User-agent:BaiduSpider-ads
Disallow:/
User-agent:*
Disallow:/
你想屏蔽就屏蔽了?测试国内搜索引擎基本都不遵守 robots 协议,也可以说蜘蛛反应迟钝,反应迟钝为啥删帖就很快?我们搜索:soite:www.xiaohongshu.com
百度收录7.98亿,要接近8亿了。
![小红书屏蔽了所有搜索引擎,蜘蛛遵守robots协议?](https://img.46.la/2024/05/c74cc-1715255010-xhssg1.jpg)
搜狗收录6.5亿,评级1也是奇怪,这个评级玩一点参考意义都没有。
![小红书屏蔽了所有搜索引擎,蜘蛛遵守robots协议?](https://img.46.la/2024/05/7b7f9-1715255011-xhsso1.jpg)
![小红书屏蔽了所有搜索引擎,蜘蛛遵守robots协议?](https://img.46.la/2024/05/593a8-1715255012-xhsso2.jpg)
360搜索收录比较少,45.6万,第二天再查询发现收录还增加了两千。
![小红书屏蔽了所有搜索引擎,蜘蛛遵守robots协议?](https://img.46.la/2024/05/d4ee4-1715255013-xhst1.jpg)
头条搜索是唯一展示了受 robonts 协议限制的说明,也是国内唯一遵守 robots 协议的搜索引擎,只显示网站标题。
再截图下小红书的 robots.txt 文件,
![小红书屏蔽了所有搜索引擎,蜘蛛遵守robots协议?](https://img.46.la/2024/05/dffa0-1715255014-xhsr1.jpg)
排第一的 Google 完全遵守 robots 协议,site小红书网站,无收录页面,除了域名,其它包括站名、logo等均不显下示。
![小红书屏蔽了所有搜索引擎,蜘蛛遵守robots协议?](https://img.46.la/2024/05/33df2-1715255009-xhsg1.jpg)
微软的 Bing 也有20万的收录,有站名和logo,但没有描述。
![小红书屏蔽了所有搜索引擎,蜘蛛遵守robots协议?](https://img.46.la/2024/05/edc08-1715255015-xhsb1.jpg)
现在4号又减少到了17万,在清除收录吧。
![小红书屏蔽了所有搜索引擎,蜘蛛遵守robots协议?](https://img.46.la/2024/05/a147c-1715255016-xhsb2.jpg)
以前在e百度搜索淘宝时,会提示 robots 禁止,现在早已没有这样显示了。
![小红书屏蔽了所有搜索引擎,蜘蛛遵守robots协议?](https://img.46.la/2024/05/b1fea-1715255009-xhsbd2.jpg)
要真正屏蔽就得把蜘蛛的 IP 给封禁掉,或者人工干预。
闹。着玩下网在上个月似乎被K站了,同时自己也主动禁止了百度蜘蛛抓取,现在过了一个月,有时site会有,反而有收录了?
国内的互联网环境都网在不断封闭,搞私域流量。在你成长起来之前,你得依托平台,哪一天发展壮大了,你自己就成了平台,直接对接终端粉丝,最后好多呢也是加微信,腾x讯呢笑而不语。
文章转载自https://www.nzonex.com/xiaohongshu-robots.html
下一篇:认识自然搜索的底层逻辑
© 版权声明
文章版权归作者所有,未经允许请勿转载。
本文暂时没有评论,来添加一个吧(●'◡'●)