近日百度百科开始屏蔽谷歌和必应等大多数搜索引擎，预计是为了阻止这些搜索引擎和其他爬虫，未经授权抓取百度百科的内容用于训练AI。
百度百科的robots.jpg文件显示，目前只有BaiduSearch、SogouSearch、Chinaso、YYSpider和EasySpider等少数搜索引擎被允许抓取其内容。
谷歌搜索、必应搜索、微软MSN、UC浏览器的Yisouspider以及其他一切搜索引擎爬虫均被明确禁止抓取百度百科的内容。
尽管360搜索没有单独列出在禁止名单中，但百度百科的策略是禁止所有非白名单爬虫，因此360搜索和其他搜索引擎也被屏蔽。
然而，百度百科的做法实际上只是防君子，而不是防恶棍。一定有很多爬虫继续通过各种方法抓取内容，然后用它来训练人工智能。
