Google 於 2026 年 3 月 20 日正式將 Google-Agent 列入其「用戶觸發爬取工具」(User-Triggered Fetchers)清單,並已開始逐步向外推出。這是 Google 首個專門用於標識 AI 代理流量的工具,讓網站管理員首次能在伺服器日誌中清楚區分傳統爬蟲訪問與由真實用戶驅動的 AI 代理行為。
Google-Agent 是什麼?
Google-Agent 是 Google 推出的全新 HTTP 用戶代理字串(User Agent),專門用於標識在 Google 基礎設施上運行的 AI 代理所發出的網絡請求。簡單來說,當用戶透過 Google 的 AI 工具委派某項任務,例如瀏覽網頁、蒐集資訊或提交表格,執行任務的 AI 代理便會在訪問網站時帶上「Google-Agent」這個身份標籤。
這個設計的核心目的是透明度:讓網站管理員能清楚辨別某次訪問究竟來自真實人類用戶、傳統的 Googlebot 爬蟲,還是代表用戶行事的 AI 代理。三者的行為差異如下:
- 人類用戶:透過瀏覽器主動訪問,有完整的點擊、捲動、填表等行為
- Googlebot:由 Google 在後台持續自動運行,用於為搜尋引擎建立索引,不需用戶觸發
- Google-Agent:由用戶指令觸發,AI 代理以「代理人」身份執行任務,行為介乎兩者之間
目前已知會使用 Google-Agent 的產品,包括 Project Mariner。Project Mariner 是 Google 的實驗項目,目前仍處於研究原型階段,並只開放給美國的 Google AI Ultra 訂閱用戶。Project Marine 為 Chrome 瀏覽器中的 AI 代理,會觀察瀏覽器中顯示的內容,並會進行推理以解讀用戶的目標,從而代用家制定計劃並採取行動。
Google 已在官方文件中公佈 Google-Agent 的 IP 範圍,網站管理員可前往以下地址查閱最新清單:https://developers.google.com/static/crawling/ipranges/user-triggered-agents.json。
桌面版用戶代理字串:
Desktop agent
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Google-Agent; +https://developers.google.com/crawling/docs/crawlers-fetchers/google-agent) Chrome/W.X.Y.Z Safari/537.36手機版用戶代理字串:
Mobile agent
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Google-Agent; +https://developers.google.com/crawling/docs/crawlers-fetchers/google-agent)Google 並非首個推出 AI 代理爬蟲的平台
Google-Agent 的推出並非孤立事件。Anthropic 與 OpenAI 早已分別推出類似的「用戶代理型」爬蟲,用於標識由用戶驅動的 AI 代理流量。Anthropic 於 2026 年 2 月更新文件,將旗下爬蟲分為 ClaudeBot(訓練數據)、Claude-SearchBot(搜尋索引)及 Claude-User(用戶即時查詢)三個獨立用戶代理,各自可通過 robots.txt 單獨控制;OpenAI 的 GPTBot / OAI-SearchBot / ChatGPT-User 架構亦如出一轍。
事實上,Google 自身早在 Google-Agent 之前已推出 Google-Extended:一個專為 AI 訓練設計的獨立產品標記,讓網站管理員控制內容是否可用於訓練 Gemini 模型及 Grounding 功能,且不影響 Google 搜尋收錄。Google-Agent 的推出,使 Google 生態系統正式形成與其他平台相同的分工格局:Google-Extended 管訓練數據授權,Google-Agent 則標識 AI 代理的實時用戶任務訪問。
至此,Google、Anthropic 與 OpenAI 三大平台已不約而同地建立起相同的三層架構——訓練爬蟲、搜尋索引爬蟲,以及由用戶指令驅動的 AI 代理爬蟲各司其職,標誌著主流 AI 平台在爬蟲透明度上已逐步走向統一標準。
網站管理員現在應做什麼?
雖然 Google-Agent 目前流量極低,但現在正是建立追蹤基準的最佳時機。建議優先採取以下行動:
伺服器日誌監控
你可以在日誌分析(log analysis)工具中新增 Google-Agent 的追蹤規則,記錄其訪問頻率與頁面分佈。建議同步追蹤 Claude-User 及 ChatGPT-User,建立跨平台 AI 代理流量的整體視圖,並將這類流量與傳統爬蟲及人類訪客流量分開統計,為未來的代理輔助轉換分析建立可靠的基準數據。
基礎設施配置
在伺服器及網絡層面,需確保 CDN 和 WAF(網站應用防火牆)不會意外攔截 Google 官方公佈的 Google-Agent IP 範圍。同時應測試網站的關鍵操作流程(包括表格、結帳流程等),確認自動代理能夠正常執行,避免因技術障礙導致代理輔助的用戶旅程中斷。
robots.txt 策略
由於 Google-Agent 屬於「用戶觸發」類型,建議默認允許其訪問,邏輯上與允許普通用戶瀏覽器一致。若網站希望退出 Gemini 模型訓練,可在 robots.txt 中單獨設定 Google-Extended,此舉不影響 Google 搜尋索引,也不影響 Google-Agent 的正常訪問。如需進一步管理 Anthropic 及 OpenAI 的同類代理,可參考各平台官方文件分別配置獨立規則。
管理 AI 代理流量成 SEO 必修課
雖然 Anthropic 與 OpenAI 早已有類似機制,但 Google 的參與意味著這一趨勢已成主流。香港的網站管理員及 SEO 從業者應盡早在伺服器日誌中建立 Google-Agent 的追蹤規則,同時審視對 Claude-User 及 ChatGPT-User 的現有配置,以完整掌握 AI 代理流量的全貌。
當用戶開始習慣透過 AI 代理執行任務,他們與網站的直接互動將會減少,但 AI 代理的「替代訪問」會增加。對電商、潛在客戶生成及服務類網站而言,這些代理或許正在替用戶作出預篩選決定。現在建立追蹤機制,才能在流量模式改變後迅速作出回應。
關於作者
