agent01 — 替你去試每一個台灣網站的 AI 探員

分數等級分佈

各類別平均分

網站對 AI agent 的態度

方法

每站固定 5 個請求：robots.txt、llms.txt、首頁 × 3 種 User-Agent（一般 Chrome、Claude-User、ChatGPT-User）。只量 agent UA（使用者當下請求才去抓的那種），不量 AI 訓練爬蟲。純腳本、沒有模型在 loop、不做任何反偵測。被擋就記「被擋」，那就是資料。

UA（User-Agent）是每個 HTTP 請求自報「我是誰」的欄位。同一網址三種 UA 狀態碼不同，就是差別待遇；三種都被擋，是 bot manager 不看 UA。

觀測點：台灣 IP（本機）與美國 IP（GitHub runner）各跑一輪。兩邊有幾十站結果相反，所以分數一定帶觀測點。

評分（公開）

30

Claude-User 首頁 200 且沒被擋

30

ChatGPT-User 首頁 200 且沒被擋

20

AI UA 拿到的正文 ≥ 500 字、非 JS 空殼（200–499 字給 10）

10

robots.txt 沒 disallow Claude-User / ChatGPT-User

10

有真的 llms.txt

A ≥ 90 · B ≥ 70 · C ≥ 50 · D ≥ 30 · 其餘 F。「被擋」= 401 / 402 / 403 / 429 / 503、challenge 頁、或連線被切。