Anthropic 拆分三大爬蟲，如何調整 robots.txt 策略？

AI 巨頭 Anthropic 近日正式更新其技術文檔，將旗下的網絡爬蟲（Web Crawlers）由單一標籤拆分為三大類別。