想像一下,你的網站是一本很棒的書。這本書內容寫得很好,圖片也很漂亮。以前,我們的讀者主要是「人類」和「Google搜尋引擎」。所以我們把書的封面和目錄設計得很吸引人,讓大家很容易找到想看的內容。
但現在,來了一種全新的讀者,叫做「大型語言模型」(LLM),也就是 ChatGPT、Google Gemini 這些 AI 1。這種 AI 讀者很特別,他像個超級天才,讀書速度飛快,但他也很沒耐心 。他不想看你書本前面花俏的推薦序、不想看廣告,也不想自己慢慢翻目錄。他只想直接知道:「這本書的重點是什麼?」。
問題就出在這裡。我們現在的網站,對 AI 來說,就像一本加了太多廣告和目錄的書,讓他很難快速抓到重點 。
所以,有人就想出一個新點子,叫做「llms.txt」 。
一份專門寫給 AI 看的「內容重點整理」
等於你直接拿一張紙條給 AI,上面寫著:「嘿,AI,我知道你很忙,我網站的重點、作者是誰、最重要的幾個頁面連結,我都幫你寫在這裡了,你直接看這個就好」。這代表我們經營網站的想法需要稍微改變一下。以前我們想的是「怎麼讓 Google 找到我」,現在要多想一步:「怎麼讓 AI 看懂我?」。為什麼 AI 會看不懂我們的網站?
你可能會覺得奇怪,AI 這麼聰明,怎麼會看不懂網站?這主要是因為 AI 有個東西叫「上下文窗口」,你可以把它想成AI 的「短期記憶力」,雖然 AI 很會讀書,但它一次能記住的東西是有限的。當 AI 來看你的網站時,它看到的不是我們眼睛看到的漂亮畫面,而是一堆密密麻麻的程式碼。在這堆程式碼裡面,混了一大堆它不需要的資訊,例如:網站最上面的選單(首頁、關於我們…)、旁邊或中間跳出來的廣告、要求你同意 Cookie 的彈出視窗、讓網站有動畫效果的程式碼,這些東西都會佔用 AI 寶貴的短期記憶力,讓它搞不清楚到底哪個才是真正的內容 。llms.txt 就是為了解決這個問題而生的。它直接給 AI 一份乾乾淨淨、沒有任何雜訊的資料,就像直接把整理好的筆記交給他,而不是讓他自己去讀一本被畫得亂七八糟的課本。llms.txt 和網站上其他檔案有什麼不同?
你的網站上可能已經有 robots.txt 和 sitemap.xml 這兩個檔案了。它們跟 llms.txt 是什麼關係?別擔心,它們三個是隊友,各自有不同的工作,就像一個餐廳裡的服務團隊一樣 。- robots.txt:餐廳門口的警衛
他的工作:決定「誰可以進來」。警衛會對著想進來的機器人說:「你是 Google 派來的嗎?OK,你可以進來。但後面廚房你不能進去喔。」他主要負責管理秩序,這是很早就有的官方規定。
- sitemap.xml:餐廳的完整菜單
他的工作:告訴客人「我們餐廳有賣哪些菜」。這是一份完整的清單,上面列出了你網站上所有的頁面,確保客人(搜尋引擎)不會漏掉任何一道菜。但它不會告訴你哪道菜最好吃,這也是官方承認的標準檔案 20。
- llms.txt:餐廳的服務生
他的工作:直接跟重要的客人說「我們餐廳的招牌菜是什麼」,當 AI 這個大客戶進來時,服務生會主動上前說:「您好,我直接跟您推薦我們的招牌菜,保證您會喜歡。」他直接把重點端到 AI 面前,這個檔案目前還不是官方標準,只是一個「提案」。
llms.txt、Robots.txt、Sitemap.xml 比較
檔案 | 功能 | 角色 |
---|---|---|
Robots.txt (官方規範) | 控制搜尋引擎機器人的爬取行為,決定「誰可以進來」以及不能爬取的區域。 | 餐廳門口的警衛 |
Sitemap.xml (官方規範) | 提供網站所有可爬取頁面的完整清單,幫助搜尋引擎發現所有頁面。 | 餐廳的菜餚清單 |
LLMS.TXT (未有規範) | 幫助 AI 系統理解網站內容,直接推廣重點資訊給 AI,但目前尚非官方規範,只是一個提案。 | 餐廳的服務生 |
現在大家對 llms.txt 怎麼看?
因為這東西還很新,所以大家的看法不太一樣,主要分成兩派。支持的人: 覺得這點子很棒
很多網站站長和工程師都很喜歡這個想法,他們覺得,與其讓 AI 自己來我們網站亂抓資料、產生奇怪的答案,還不如我們主動把正確的資料整理好給AI。有些 AI 公司也表示支持,像是做出了 Claude AI 的公司 Anthropic,他們就自己先做了一個llms.txt 檔案放在官網上,網路上也開始出現一些小工具,可以幫你快速做出這個檔案 。
觀望的人: 覺得再看看好了
不過,像 Google 這種大公司就比較小心 ,Google 的專家 John Mueller 說:根據他的觀察,目前還沒有任何主流的 AI 真的會去讀取llms.txt 這個檔案,另一家很有名的 SEO 公司 Ahrefs 的專家 Ryan Law 說得更直接,他覺得這東西有點多此一舉,還拿它跟以前一個沒什麼用的網站標籤keywords meta來比較。這些大公司的想法比較像是:「我們的 AI 已經很聰明了,它自己會判斷,不太需要你來教它怎麼讀」。這就造成一個有點好笑的狀況:如果 AI 公司不用,網站就懶得做;如果網站都不做,AI 公司就更不可能去用它。需要有個大公司先站出來支援,這個僵局才可能被打破。
如果想試試看,你該怎麼做?
雖然大公司還在觀望,但如果你對這個新東西有興趣,自己動手做一個其實非常簡單,而且幾乎沒有成本 。llms.txt要怎麼寫?
這個檔案的格式是用一種叫做 Markdown 的語法,非常簡單 。
- # 網站名字 (用一個井號):這是最重要的,一定要有 。
- > 網站的簡單介紹... (用一個大於符號):用一兩句話簡單介紹你的網站是做什麼的 。
- 接下來,你可以直接寫更詳細的介紹,不用加任何符號。
- ## 重要的連結 (用兩個井號):你可以用這個來分類你的連結,像是「主要服務」或「聯絡我們」。
- ## Optional (選填資訊):這是一個特別的設計,你可以把比較次要的資訊放在這裡 。如果 AI 讀取的時間不夠,它就知道可以先跳過這一段。
llms.txt 做好了要放哪裡?
步驟非常簡單,照著做就可以完成 llms.txt步驟ㄧ: 用任何文字編輯器,做好一個叫做llms.txt 的檔案 。
步驟二: 把它上傳到你網站的根目錄,也就是讓大家可以透過www.你的網址.com/llms.txt 看到它 。
步驟三:cite_start 在你的 robots.txt 檔案裡,加一行 LLMS-txt: /llms.txt,等於是跟 AI 說:「看一下,我的重點整理放在這裡喔」。
步驟四:如果你的網站內容有大變動,要記得回來更新這個檔案 ,也可以讓程式設計師幫你自動生成這個檔案(自動生成)。
最後,我到底該不該用 llms.txt
這是一個很好的問題。你可以這樣想,這件事的風險很小,但未來可能的好處可能很大。- 風險是什麼? 幾乎沒有。你只是多了一個小小的文字檔在網站上。就算以後沒人用了,你也不會有任何損失。
- 可能的好處是什麼? 如果未來有一天,Google 或 ChatGPT 真的開始把 llms.txt 當成讀取網站的標準,那你就是第一批準備好的人,可能會比別人佔有優勢 。
如果你的網站是一般的形象網站或個人部落格,現在可以先不用急著做llms.txt,繼續觀察就好,如果你的網站有很多專業文章、技術資料,或者你是個很重視品牌形象的公司,那麼花個半小時做一個llms.txt,就當成是為未來買個保險,是個不錯的選擇 。不管你最後做不做llms.txt,了解它背後的想法很重要 。llms.txt提醒我們,未來經營網站,不只是要讓別人「找到」我們,更要讓 AI「看懂」我們。
(本文為達文西數位科技所有,禁止轉載圖文)
邁入網站與SEO工作已經超過20年,喜歡探索新知與研究技術,總是希望給您最適合的解決方案。