AI 爬蟲與 llms.txt

除了 Googlebot，現在還有很多 AI 公司的爬蟲會來讀你的網站。這堂課帶你認識它們，以及你能控制什麼。

這堂課你會學到：
・常見的 AI 爬蟲，以及在 robots.txt 裡怎麼允許或阻擋
・阻擋 AI 爬蟲的取捨：保護內容 vs 失去被引用的機會
・llms.txt：給 AI 看的網站導覽（目前還在發展中的做法）
・看自己網站的 llms.txt（平台自動產生）

上完這堂課，你就能知道 AI 公司的爬蟲怎麼讀網站，以及能控制什麼。