GEO
AI 讀了你的網站？先分清搜尋、訓練、即時讀取三條路
你看到「AI 爬蟲」四個字，可能會立刻想改 robots.txt。但同一家產品也可能有不同用途的程式：建立搜尋結果、蒐集可能用於模型訓練的內容，或因某位使用者提問而即時開啟頁面。今天只學一件事：拿一份公開的 robots.txt，做出「用途、規則、證據」三欄表，避免把允許爬取說成已被 AI 引用。
適合對象是管理自己網站的個人、工作室及中小企業。前置條件只要一個公開網站網址、瀏覽器及記事本；不用購買工具，也不用登入主機。本文不教你立刻修改規則，先把現況判讀正確。
第一步：在網站網域後輸入 /robots.txt，確認回應是否正常，抄下 User-agent、Allow、Disallow。這份檔案的規則要按特定使用者代理程式的群組與路徑讀，不能只看見一個 Allow 就推論所有頁面都開放；也要區分 robots 規則與登入權限。找不到檔案、遭防火牆擋住或回應異常時，先記「無法判定」，不要憑印象補規則。
第二步：畫三列。OpenAI 官方文件把 OAI-SearchBot 說明為 ChatGPT 搜尋用途；GPTBot 用於可能供基礎模型訓練的內容；ChatGPT-User 則可能在使用者要求時造訪頁面，不是自動網頁爬取，也不靠它決定搜尋結果是否收錄。這三個名稱相似，用途卻不同。想控制搜尋與訓練，要分開看對應的代理程式，不要把封鎖 GPTBot 說成封鎖 ChatGPT 搜尋。
第三步：以一個已核實的例子練習。2026 年 10 月 3 日讀取客脈 AI 的公開 robots.txt，回應 200，內容是 User-Agent: *、Allow: /，另排除 /admin 與 /thanks，並列出 sitemap。把首頁當作要檢查的路徑，表格可以寫「OAI-SearchBot／搜尋／一般規則未排除首頁」、「GPTBot／可能用於訓練／一般規則未排除首頁」；ChatGPT-User 則寫「使用者觸發讀取／robots 規則可能不適用」。這是規則判讀，不是證明三者今天真的來訪。
第四步：為每列補上證據等級。「robots 檔可讀且路徑未排除」只回答站方公布了什麼規則；「伺服器或 CDN 日誌有請求」才可討論是否有實際造訪，還要核對時間、路徑及來源真偽；「AI 回答附上網址」則需另找實際回答，逐句查引用是否支持內容。沒有日誌或實際回答，就把後兩格留空，不能用第一格代填。
例如表格中的「日誌」欄若只有一般瀏覽器的造訪紀錄，就不能填成 OAI-SearchBot 已來訪；光看一段自稱某機器人的 User-Agent，也不足以證實請求真由該公司發出。沒有查核 IP 或供應商資料時，保守寫「疑似請求，身分未確認」。同理，自己把網址貼給聊天工具並請它摘要，屬於使用者觸發的測試，不能冒充系統自動搜尋收錄。
第五步：核對你要改善的目標。如果目標是讓公開教學頁有機會出現在 ChatGPT 搜尋，先看 OAI-SearchBot 對該路徑的規則、頁面能否公開讀取，再查主機是否有其他阻擋；這些通過也不保證被選中或引用。如果目標是表達不供模型訓練，則應查 GPTBot 對應規則。修改前先保留舊檔，並在測試後重新讀取公開版本；規則更新與產品反映也可能有時間差。
常見錯誤有三個：把所有 AI 代理程式當成同一個；把 robots.txt 當成密碼牆；把「可抓取」當成「已收錄、已引用、帶來詢問」。robots.txt 是公開的爬取指示，敏感頁面仍要靠真正的存取控制。Perplexity 也區分用於搜尋連結的 PerplexityBot 與使用者觸發的 Perplexity-User，後者通常忽略 robots.txt；跨產品比較時，應先查各家的當日官方定義。
你現在可以選自己的首頁或一篇公開文章，寫三欄表：代理程式及用途、該路徑的 robots 規則、目前握有的證據。驗收時請另一人只憑你的表格回答「這能否證明真的被 AI 引用？」正確答案應依證據而定，只有規則時就是不能。費用為零；若要分析日誌，可能需要你的主機/CDN 權限，本練習不要求購買服務，也不推測沒有取得的數據。
官方參考（2026-10-03 查核）：
OpenAI 爬蟲說明
Perplexity 爬蟲說明
Google robots.txt 規格
延伸練習：客脈 AI 的 robots.txt 檢查教學
整理／配圖：客脈 AI。配圖為 AI 生成示意圖，不是實際流量或爬蟲紀錄。
0
0
50 0
拍手
留言
分享
Line
複製連結
收藏