faviconSEO Hub HK

元機器人標籤 Meta Robots

Meta robots(元機器人標籤)是放在網頁 HTML head 區域的指令,用來告訴搜尋引擎這個頁面該不該收錄、該不該追蹤頁面上的連結,以及搜尋結果可以顯示多少預覽內容。常見指令包括 noindex、nofollow 與 nosnippet,可依頁面需求單獨或組合使用。

Set SEO Hub HK as a preferred source on Google

Meta robots(元機器人標籤)是寫在頁面 HTML 裡的一段設定,用來告訴搜尋引擎「這個頁面該怎麼處理」。它只針對單一頁面生效,與控制整個網站抓取範圍的 robots.txt 角色不同。

Meta robots 的定義

基本寫法是在 head 區域加入一個 name 為 robots 的 meta 元素,再在 content 屬性裡放入一個或多個指令,以逗號分隔。例如同時寫上 noindex 與 nofollow,代表頁面不要收錄,頁面上的連結也不要追蹤。

如果頁面沒有任何設定,搜尋引擎預設會收錄頁面並追蹤連結,效果等同於 index, follow,所以一般頁面不需要特別加上這兩個指令。你也可以把 name 改成特定爬蟲的名稱,例如 googlebot,讓設定只對該爬蟲有效。

為什麼 Meta robots 重要?

網站上並非每個頁面都值得出現在搜尋結果。感謝頁、內部搜尋結果頁、測試頁等頁面對一般使用者沒有價值,一旦被索引,不但可能搶走重要頁面的曝光,也會讓網站品質印象下降。Meta robots 讓你可以逐頁決定哪些內容要被收錄。

對企業網站來說,這也是控管品牌形象的工具:你可以決定哪些頁面會被搜尋引擎展示、搜尋結果裡的文字片段可以有多長,避免未完成或不適合公開的內容被看見。當網站規模變大時,良好的收錄控制還能讓搜尋引擎把有限的資源放在真正重要的頁面,這與抓取預算的管理息息相關。

常用的 Meta robots 指令

  • noindex:不要把這個頁面放進搜尋結果,詳細用法可見 Noindex 的說明。
  • nofollow:不要追蹤此頁面上的連結,也不要把它們當成推薦訊號,可搭配 Nofollow 的說明了解。
  • nosnippet:不要在搜尋結果中顯示文字摘要或預覽。
  • max-snippet:限制搜尋結果中文字摘要的最大長度。
  • max-image-preview:設定圖片預覽的大小上限。
  • unavailable_after:指定某個日期與時間之後,頁面不再出現在搜尋結果,適合有期限的活動或優惠頁。

Meta robots 的運作原理

  1. 搜尋引擎的爬蟲抓取頁面,並讀取 HTML 的 head 區域。
  2. 爬蟲找到 robots 設定,並依指令決定是否收錄、是否追蹤連結、如何顯示預覽。
  3. 搜尋引擎在下次重新抓取頁面時才會更新處理結果,因此效果通常不會立即出現。

有一個關鍵前提:爬蟲必須能打開這個頁面,才讀得到裡面的指令。如果頁面同時被 robots.txt 擋住,搜尋引擎根本讀不到 noindex,設定就等於沒有作用。至於 PDF、圖片等無法放入 HTML 標籤的檔案,則可以改用 X-Robots-Tag 這個 HTTP 標頭達到相同效果。

實際例子

一間網店會在訂單完成頁加上 noindex,因為這類頁面只對剛完成購買的使用者有意義,出現在搜尋結果只會造成混亂。同一間網店的購物車與會員登入頁也適合同樣處理。

一間會計師事務所在網站改版期間建立了一批測試頁面,為了避免內容在正式發佈前被收錄,團隊為這些頁面設定 noindex。正式上線時,再逐一確認重要頁面已經移除這個設定。

一間社區餐廳每個月推出限定優惠頁,並在頁面中設定 unavailable_after,讓優惠結束後頁面自動退出搜尋結果,避免客人點進去看到已過期的資訊。

優點與挑戰

  • 優點:逐頁精準控制,不需要修改整個網站的設定。
  • 優點:多數 CMS 與 SEO 外掛都有現成開關,不需要寫程式。
  • 挑戰:設定錯誤的影響很大,一個重要頁面被誤設 noindex,就可能從搜尋結果消失。
  • 挑戰:與 robots.txt、canonical 等其他訊號互相矛盾時,搜尋引擎的處理結果不容易預測。

Meta robots 的最佳實踐

  1. 只在確定不需要自然流量的頁面使用 noindex,並建立一份清單記錄哪些頁面被設定。
  2. 確保設為 noindex 的頁面仍然允許抓取,不要同時用 robots.txt 封鎖。
  3. 不要把 noindex 頁面放進 Sitemap,避免傳達互相矛盾的訊號。
  4. 網站改版或搬遷後,抽查重要頁面的原始碼,確認測試環境的設定沒有被一併帶上線。
  5. 需要限制預覽內容時,優先使用 max-snippet 等較細緻的指令,而不是一律使用 nosnippet。

常見問題

Meta robots 和 robots.txt 有什麼不同?

robots.txt 決定爬蟲「能不能抓取」某些網址,Meta robots 決定爬蟲讀到頁面後「怎麼處理」。兩者作用在不同階段,不能互相取代,也不建議對同一個頁面同時使用。

設定 noindex 後,頁面多久會消失?

要等搜尋引擎重新抓取該頁面才會生效,時間從數天到數週不等。可以在 Google Search Console 要求重新檢查網址,加快處理。

Meta robots 可以防止別人看到我的頁面嗎?

不行。它只影響搜尋引擎如何收錄與展示頁面,知道網址的人仍然可以直接打開。需要保護的內容應該使用密碼或登入限制。

相關術語

  • Canonical:指定重複內容的標準網址,與 Meta robots 同樣屬於頁面層級的訊號。
  • Googlebot:讀取並執行這些指令的 Google 爬蟲。

相關SEO術語

Noindex不索引指令

Noindex(不索引指令)是給搜尋引擎的一個指令,意思是頁面可以被抓取,但不應該被收錄到搜尋結果中。它常用於感謝頁、內部搜尋頁等不需要自然流量的頁面,可透過 meta robots 標籤或 HTTP 標頭設定。

Nofollow

Nofollow 是一種 HTML 連結屬性(rel="nofollow"),用來告訴搜尋引擎不要將該連結視為排名投票,亦即不傳遞連結權重(Link Equity)。

robots.txt

robots.txt 是一個用來指引搜尋引擎機器人(如 Googlebot)如何抓取網站內容的文字檔案。

Canonical標準網址

Canonical tag(標準網址)是一段置於網頁 <head> 區塊的 HTML 程式碼(<link rel="canonical" href="...">),用來告訴 Google 哪個網址是某頁內容的「標準版本」。

Indexing索引

索引(Indexing)是指搜尋引擎爬取網頁後,將其分析、處理並存入資料庫的過程——只有完成索引的頁面,才有機會出現在 Google 搜尋結果中。