Log File Analysis（伺服器日誌分析）是技術 SEO中的進階工作。每當瀏覽器或搜尋引擎爬蟲向網站請求一個網址，伺服器都會留下一筆紀錄，包括時間、網址、回應狀態碼和請求者的識別資料。分析這些紀錄，就能看到爬蟲真正的行為，而不只是推測。
為什麼值得做日誌分析
網站爬蟲工具只能告訴你「網站有什麼」，Search Console 只提供抽樣的檢索統計，而日誌則記錄「爬蟲實際做了什麼」。對頁面數量很多的網站來說，這能看出檢索預算是否被浪費在不重要的網址上，例如篩選參數、重複頁面或舊網址。
可以從日誌找到什麼
- 錯誤與轉址：爬蟲反覆遇到的 404、5xx 錯誤，以及過長的 301 轉址鏈。
- 檢索頻率：重要頁面是否被定期造訪，還是長期沒有被爬蟲看到。
- 被忽略的頁面：在網站結構中存在、卻從未被爬蟲請求的頁面，常與內部連結不足或孤立頁面有關。
- 規則是否生效：確認 robots.txt 的限制是否真的減少了不必要的請求。
基本做法
- 向主機供應商或系統管理員取得原始日誌，並確認涵蓋至少數週的資料。
- 篩選出搜尋引擎爬蟲的請求。因為識別資料可以被偽冒，應按 Google 官方說明驗證，確認請求真的來自 Googlebot。
- 按網址類型、資料夾和狀態碼分組，找出請求量集中的位置。
- 將結果與 sitemap 和重要頁面清單對照，列出需要修正的項目，例如修復錯誤、補充內部連結或清理無用參數。
限制與注意事項
日誌檔案可能很大，而且若網站使用 CDN 或多部伺服器，資料要先整合才完整。日誌也可能包含訪客的個人資料，處理時應遵守所屬地區的隱私規定。對只有數十個頁面的小型網站，日誌分析的成本通常高於收益，可以先從 Search Console 的檢索統計做起。