Meta robots(元機器人標籤)是寫在頁面 HTML 裡的一段設定,用來告訴搜尋引擎「這個頁面該怎麼處理」。它只針對單一頁面生效,與控制整個網站抓取範圍的 robots.txt 角色不同。
Meta robots 的定義
基本寫法是在 head 區域加入一個 name 為 robots 的 meta 元素,再在 content 屬性裡放入一個或多個指令,以逗號分隔。例如同時寫上 noindex 與 nofollow,代表頁面不要收錄,頁面上的連結也不要追蹤。
如果頁面沒有任何設定,搜尋引擎預設會收錄頁面並追蹤連結,效果等同於 index, follow,所以一般頁面不需要特別加上這兩個指令。你也可以把 name 改成特定爬蟲的名稱,例如 googlebot,讓設定只對該爬蟲有效。
為什麼 Meta robots 重要?
網站上並非每個頁面都值得出現在搜尋結果。感謝頁、內部搜尋結果頁、測試頁等頁面對一般使用者沒有價值,一旦被索引,不但可能搶走重要頁面的曝光,也會讓網站品質印象下降。Meta robots 讓你可以逐頁決定哪些內容要被收錄。
對企業網站來說,這也是控管品牌形象的工具:你可以決定哪些頁面會被搜尋引擎展示、搜尋結果裡的文字片段可以有多長,避免未完成或不適合公開的內容被看見。當網站規模變大時,良好的收錄控制還能讓搜尋引擎把有限的資源放在真正重要的頁面,這與抓取預算的管理息息相關。
常用的 Meta robots 指令
- noindex:不要把這個頁面放進搜尋結果,詳細用法可見 Noindex 的說明。
- nofollow:不要追蹤此頁面上的連結,也不要把它們當成推薦訊號,可搭配 Nofollow 的說明了解。
- nosnippet:不要在搜尋結果中顯示文字摘要或預覽。
- max-snippet:限制搜尋結果中文字摘要的最大長度。
- max-image-preview:設定圖片預覽的大小上限。
- unavailable_after:指定某個日期與時間之後,頁面不再出現在搜尋結果,適合有期限的活動或優惠頁。
Meta robots 的運作原理
- 搜尋引擎的爬蟲抓取頁面,並讀取 HTML 的 head 區域。
- 爬蟲找到 robots 設定,並依指令決定是否收錄、是否追蹤連結、如何顯示預覽。
- 搜尋引擎在下次重新抓取頁面時才會更新處理結果,因此效果通常不會立即出現。
有一個關鍵前提:爬蟲必須能打開這個頁面,才讀得到裡面的指令。如果頁面同時被 robots.txt 擋住,搜尋引擎根本讀不到 noindex,設定就等於沒有作用。至於 PDF、圖片等無法放入 HTML 標籤的檔案,則可以改用 X-Robots-Tag 這個 HTTP 標頭達到相同效果。
實際例子
一間網店會在訂單完成頁加上 noindex,因為這類頁面只對剛完成購買的使用者有意義,出現在搜尋結果只會造成混亂。同一間網店的購物車與會員登入頁也適合同樣處理。
一間會計師事務所在網站改版期間建立了一批測試頁面,為了避免內容在正式發佈前被收錄,團隊為這些頁面設定 noindex。正式上線時,再逐一確認重要頁面已經移除這個設定。
一間社區餐廳每個月推出限定優惠頁,並在頁面中設定 unavailable_after,讓優惠結束後頁面自動退出搜尋結果,避免客人點進去看到已過期的資訊。
優點與挑戰
- 優點:逐頁精準控制,不需要修改整個網站的設定。
- 優點:多數 CMS 與 SEO 外掛都有現成開關,不需要寫程式。
- 挑戰:設定錯誤的影響很大,一個重要頁面被誤設 noindex,就可能從搜尋結果消失。
- 挑戰:與 robots.txt、canonical 等其他訊號互相矛盾時,搜尋引擎的處理結果不容易預測。
Meta robots 的最佳實踐
- 只在確定不需要自然流量的頁面使用 noindex,並建立一份清單記錄哪些頁面被設定。
- 確保設為 noindex 的頁面仍然允許抓取,不要同時用 robots.txt 封鎖。
- 不要把 noindex 頁面放進 Sitemap,避免傳達互相矛盾的訊號。
- 網站改版或搬遷後,抽查重要頁面的原始碼,確認測試環境的設定沒有被一併帶上線。
- 需要限制預覽內容時,優先使用 max-snippet 等較細緻的指令,而不是一律使用 nosnippet。
常見問題
Meta robots 和 robots.txt 有什麼不同?
robots.txt 決定爬蟲「能不能抓取」某些網址,Meta robots 決定爬蟲讀到頁面後「怎麼處理」。兩者作用在不同階段,不能互相取代,也不建議對同一個頁面同時使用。
設定 noindex 後,頁面多久會消失?
要等搜尋引擎重新抓取該頁面才會生效,時間從數天到數週不等。可以在 Google Search Console 要求重新檢查網址,加快處理。
Meta robots 可以防止別人看到我的頁面嗎?
不行。它只影響搜尋引擎如何收錄與展示頁面,知道網址的人仍然可以直接打開。需要保護的內容應該使用密碼或登入限制。
