小红书屏蔽了所有搜索引擎,蜘蛛遵守robots协议?

小红书已通过 robots.txt 屏蔽所有搜索引擎,包括百度、Google、Bing 等,表面上不希望被收录,但国内多数搜索引擎却依然收录了大量页面,robots 协议真的有...