llms.txt是一個建議的網站標準:在網站根目錄放置一個 Markdown 格式的文字檔(即example.com/llms.txt),以精簡方式向大型語言模型(LLM)介紹網站,並列出最重要的內容連結。這個構想由 Answer.AI 的 Jeremy Howard 於2024年9月提出,目的是讓 ChatGPT、Claude 等 AI 工具更容易讀懂網站內容。
為甚麼會有 llms.txt?
一般網頁包含大量導覽選單、廣告、樣式與程式碼,而 LLM 每次可以處理的內容長度有限,要在雜亂的 HTML 中找出重點並不容易。llms.txt 的想法是由網站擁有者主動提供一份「精選目錄」,以純文字告訴 AI 網站的內容及關鍵頁面。
llms.txt 與robots.txt、Sitemap的分別
| 檔案 | 對象 | 作用 | 格式 |
|---|---|---|---|
| robots.txt | 搜尋引擎與AI爬蟲 | 指示哪些路徑可以或不可以抓取 | 純文字指令 |
| Sitemap | 搜尋引擎 | 列出網站希望被收錄的網址 | XML |
| llms.txt | 大型語言模型與AI工具 | 提供精選內容摘要與連結,協助理解網站 | Markdown |
三者並不互相取代。robots.txt 控制網站是否能被爬蟲抓取,Sitemap 則是網站頁面地圖,llms.txt 則嘗試回答「哪些內容最重要」。llms.txt 本身並沒有阻擋 AI 爬蟲的功能,如果想限制抓取,仍然要使用robots.txt。
llms.txt 的格式
按照建議規範,檔案以Markdown撰寫,結構如下:
- 一個H1標題,寫上網站或項目名稱(唯一必須的部分)。
- 一段引用區塊,用一兩句概括網站內容。
- 可選的補充說明段落。
- 以H2分組的連結清單,每個連結可以附上簡短描述。
- 名為「Optional」的H2部分,放置次要連結,供AI在篇幅有限時略過。
llms.txt
# 範例公司
> 範例公司為香港中小企提供雲端會計軟件,本檔案列出最重要的產品與支援文件。
## 產品
- [功能總覽](https://example.com/features.md):主要功能與適用對象
- [收費計劃](https://example.com/pricing.md):各計劃價錢與限制
## 支援文件
- [新手入門](https://example.com/docs/getting-started.md):開戶與基本設定步驟
## Optional
- [公司簡介](https://example.com/about.md)部分網站亦會額外提供llms-full.txt,把所有重要內容的全文合併成一個檔案。
llms.txt 對 SEO 與 GEO 有用嗎?
這是目前最需要小心看待的部分。llms.txt 目前只是一個建議規範,並非正式的網絡標準,而主要AI平台是否會讀取並採用它,至今未有一致而公開的承諾。Google方面曾公開表示其搜尋與AI功能並沒有使用llms.txt,並指出網站毋須為了在AI 概覽或AI 模式中出現而建立新的機器可讀檔案。
哪些網站較適合加入llms.txt?
- 技術文件與API文件網站:開發者經常透過 AI 編程工具查閱文件,精簡的Markdown 版本有實際用途。
- 內容結構清晰的知識庫或說明中心:方便 AI 工具準確引用。
- 希望及早試驗的團隊:建立與維護 llms.txt 的成本相對較低,可以配合伺服器記錄觀察是否有 AI 爬蟲讀取。
llms.txt最佳實踐
- 只列出真正重要的頁面,保持精簡,不要把整個Sitemap照搬。
- 為每個連結寫上清晰的一句描述。
- 內容更新時同步更新檔案,避免列出已失效的連結。
- 不要放入不希望公開的內容,llms.txt任何人都可以讀取。
- 透過伺服器記錄檢查是否有爬蟲實際請求這個檔案。
常見問題
llms.txt可以阻止AI使用我的網站內容嗎?
不可以。llms.txt 只用來提供內容指引,並沒有任何限制功能。如果想阻擋個別 AI 爬蟲,需要在 robots.txt 中針對相關的爬蟲名稱設定規則,或是 Google Search Console 中限制使用。
沒有 llms.txt 會影響 Google 排名嗎?
不會。Google 已表明未有採用 llms.txt,沒有這個檔案並不會影響網站在Google搜尋的排名或收錄。
llms.txt 應該放在哪裡?
放在網站根目錄,令檔案可以透過 domain.com/llms.txt 直接存取,位置與robots.txt相同。
