網站地圖與 robots.txt

網站地圖告訴 Google 你有哪些頁面，robots.txt 告訴爬蟲哪裡不要去。這兩個檔案很小，設錯了影響卻很大。

這堂課你會學到：
・網站地圖：告訴 Google 網站有哪些頁面
・robots.txt：告訴爬蟲哪些地方不要爬
・noindex 和 robots.txt 的差別（常見錯誤）
・看自己網站和幾個知名網站的這兩個檔案

上完這堂課，你就能看懂一個網站的網站地圖和 robots.txt。