百度能直接搜微信公众号了?
刚才阿凡达2同步上映，搜了下信息出现了微信公众号的内容指定微信公众号的域名也能搜到了，可能是像上次开放给 Google 爬虫一样Robot.txt 写错了？
孤岛互通后，搜信息更是粪海淘金了 借楼问一下有没有搜索引擎无视robots.txt的 Flyfish233 发表于 2022-11-23 12:07
借楼问一下有没有搜索引擎无视robots.txt的
爬虫学的好内容农场其实就是这样的，还是国内的傻卵公司 上次是robots.txt没了，结果其它搜索引擎都收录了百度也依然没有收录。
这次robots.txt还在而且没改过，百度却收录了，感觉是百度和腾讯达成某种协议了。
—— 来自 S1Fun 本帖最后由 Midnight.Coup 于 2022-11-23 19:00 编辑
V5Style 发表于 2022-11-23 18:11
上次是robots.txt没了，结果其它搜索引擎都收录了百度也依然没有收录。
这次robots.txt还在而且没改过，百 ...
公众号流量不够需要引流了？
页:
[1]