llms.txt 是什麼? 你的網站需要一份「AI說明書」

Author: Locust


想像一下,你的網站是一本很棒的書。這本書內容寫得很好,圖片也很漂亮。以前,我們的讀者主要是「人類」和「Google搜尋引擎」。所以我們把書的封面和目錄設計得很吸引人,讓大家很容易找到想看的內容。


但現在,來了一種全新的讀者,叫做「大型語言模型」(LLM),也就是 ChatGPT、Google Gemini 這些 AI 1。這種 AI 讀者很特別,他像個超級天才,讀書速度飛快,但他也很沒耐心 。他不想看你書本前面花俏的推薦序、不想看廣告,也不想自己慢慢翻目錄。他只想直接知道:「這本書的重點是什麼?」。

問題就出在這裡。我們現在的網站,對 AI 來說,就像一本加了太多廣告和目錄的書,讓他很難快速抓到重點 。

所以,有人就想出一個新點子,叫做「llms.txt」 。
 

一份專門寫給 AI 看的「內容重點整理」

等於你直接拿一張紙條給 AI,上面寫著:「嘿,AI,我知道你很忙,我網站的重點、作者是誰、最重要的幾個頁面連結,我都幫你寫在這裡了,你直接看這個就好」。這代表我們經營網站的想法需要稍微改變一下。以前我們想的是「怎麼讓 Google 找到我」,現在要多想一步:「怎麼讓 AI 看懂我?」。

 

為什麼 AI 會看不懂我們的網站?

你可能會覺得奇怪,AI 這麼聰明,怎麼會看不懂網站?這主要是因為 AI 有個東西叫「上下文窗口」,你可以把它想成AI 的「短期記憶力」,雖然 AI 很會讀書,但它一次能記住的東西是有限的。當 AI 來看你的網站時,它看到的不是我們眼睛看到的漂亮畫面,而是一堆密密麻麻的程式碼。在這堆程式碼裡面,混了一大堆它不需要的資訊,例如:網站最上面的選單(首頁、關於我們…)、旁邊或中間跳出來的廣告、要求你同意 Cookie 的彈出視窗、讓網站有動畫效果的程式碼,這些東西都會佔用 AI 寶貴的短期記憶力,讓它搞不清楚到底哪個才是真正的內容 。llms.txt 就是為了解決這個問題而生的。它直接給 AI 一份乾乾淨淨、沒有任何雜訊的資料,就像直接把整理好的筆記交給他,而不是讓他自己去讀一本被畫得亂七八糟的課本。
 

llms.txt 和網站上其他檔案有什麼不同?

你的網站上可能已經有 robots.txt 和 sitemap.xml 這兩個檔案了。它們跟 llms.txt 是什麼關係?別擔心,它們三個是隊友,各自有不同的工作,就像一個餐廳裡的服務團隊一樣 。
  1. robots.txt:餐廳門口的警衛
    他的工作:決定「誰可以進來」。警衛會對著想進來的機器人說:「你是 Google 派來的嗎?OK,你可以進來。但後面廚房你不能進去喔。」他主要負責管理秩序,這是很早就有的官方規定。
     
  2. sitemap.xml:餐廳的完整菜單
    他的工作:告訴客人「我們餐廳有賣哪些菜」。這是一份完整的清單,上面列出了你網站上所有的頁面,確保客人(搜尋引擎)不會漏掉任何一道菜。但它不會告訴你哪道菜最好吃,這也是官方承認的標準檔案 20。
     
  3. llms.txt:餐廳的服務生
    他的工作:直接跟重要的客人說「我們餐廳的招牌菜是什麼」,當 AI 這個大客戶進來時,服務生會主動上前說:「您好,我直接跟您推薦我們的招牌菜,保證您會喜歡。」他直接把重點端到 AI 面前,這個檔案目前還不是官方標準,只是一個「提案」。
     
所以你看,警衛 (robots.txt) 管進出,菜單 (sitemap.xml) 列出所有東西,服務生 (llms.txt) 則負責推薦重點,它們是互相合作的。

llms.txt、Robots.txt、Sitemap.xml 比較

檔案 功能 角色
Robots.txt (官方規範) 控制搜尋引擎機器人的爬取行為,決定「誰可以進來」以及不能爬取的區域。 餐廳門口的警衛
Sitemap.xml  (官方規範) 提供網站所有可爬取頁面的完整清單,幫助搜尋引擎發現所有頁面。 餐廳的菜餚清單
LLMS.TXT  (未有規範) 幫助 AI 系統理解網站內容,直接推廣重點資訊給 AI,但目前尚非官方規範,只是一個提案。 餐廳的服務生
 

現在大家對 llms.txt 怎麼看?

因為這東西還很新,所以大家的看法不太一樣,主要分成兩派。

支持的人: 覺得這點子很棒
很多網站站長和工程師都很喜歡這個想法,他們覺得,與其讓 AI 自己來我們網站亂抓資料、產生奇怪的答案,還不如我們主動把正確的資料整理好給AI。有些 AI 公司也表示支持,像是做出了 Claude AI 的公司 Anthropic,他們就自己先做了一個llms.txt 檔案放在官網上,網路上也開始出現一些小工具,可以幫你快速做出這個檔案 。

觀望的人: 覺得再看看好了
不過,像 Google 這種大公司就比較小心 ,Google 的專家 John Mueller 說:根據他的觀察,目前還沒有任何主流的 AI 真的會去讀取llms.txt 這個檔案,另一家很有名的 SEO 公司 Ahrefs 的專家 Ryan Law 說得更直接,他覺得這東西有點多此一舉,還拿它跟以前一個沒什麼用的網站標籤keywords meta來比較。這些大公司的想法比較像是:「我們的 AI 已經很聰明了,它自己會判斷,不太需要你來教它怎麼讀」。這就造成一個有點好笑的狀況:如果 AI 公司不用,網站就懶得做;如果網站都不做,AI 公司就更不可能去用它。需要有個大公司先站出來支援,這個僵局才可能被打破。


如果想試試看,你該怎麼做?

雖然大公司還在觀望,但如果你對這個新東西有興趣,自己動手做一個其實非常簡單,而且幾乎沒有成本 。
llms.txt要怎麼寫?
這個檔案的格式是用一種叫做 Markdown 的語法,非常簡單 。
  • # 網站名字 (用一個井號):這是最重要的,一定要有 。
  • > 網站的簡單介紹... (用一個大於符號):用一兩句話簡單介紹你的網站是做什麼的 。
  • 接下來,你可以直接寫更詳細的介紹,不用加任何符號。
  • ## 重要的連結 (用兩個井號):你可以用這個來分類你的連結,像是「主要服務」或「聯絡我們」。
  • ## Optional (選填資訊):這是一個特別的設計,你可以把比較次要的資訊放在這裡 。如果 AI 讀取的時間不夠,它就知道可以先跳過這一段。
 

llms.txt 做好了要放哪裡?

步驟非常簡單,照著做就可以完成 llms.txt

步驟ㄧ: 用任何文字編輯器,做好一個叫做llms.txt 的檔案 。
步驟二: 把它上傳到你網站的根目錄,也就是讓大家可以透過www.你的網址.com/llms.txt 看到它 。
步驟三:cite_start 在你的 robots.txt 檔案裡,加一行 LLMS-txt: /llms.txt,等於是跟 AI 說:「看一下,我的重點整理放在這裡喔」。
步驟四:如果你的網站內容有大變動,要記得回來更新這個檔案 ,也可以讓程式設計師幫你自動生成這個檔案(自動生成)。

 

最後,我到底該不該用 llms.txt

這是一個很好的問題。你可以這樣想,這件事的風險很小,但未來可能的好處可能很大。
 
  • 風險是什麼? 幾乎沒有。你只是多了一個小小的文字檔在網站上。就算以後沒人用了,你也不會有任何損失。
  • 可能的好處是什麼? 如果未來有一天,Google 或 ChatGPT 真的開始把 llms.txt 當成讀取網站的標準,那你就是第一批準備好的人,可能會比別人佔有優勢 。
     

如果你的網站是一般的形象網站或個人部落格,現在可以先不用急著做llms.txt,繼續觀察就好,如果你的網站有很多專業文章、技術資料,或者你是個很重視品牌形象的公司,那麼花個半小時做一個llms.txt,就當成是為未來買個保險,是個不錯的選擇 。不管你最後做不做llms.txt,了解它背後的想法很重要 。llms.txt提醒我們,未來經營網站,不只是要讓別人「找到」我們,更要讓 AI「看懂」我們。

(本文為達文西數位科技所有,禁止轉載圖文)
 

邁入網站與SEO工作已經超過20年,喜歡探索新知與研究技術,總是希望給您最適合的解決方案。

SEO套版網站,優惠 $ NT 62,000 (1年代管+SSL)

請與我們聯繫
線上客服 TOP