1. 什么是 robots.txt？
robots.txt?是放在網(wǎng)站根目錄下的一個文本文件，用來告訴搜索引擎蜘蛛（crawler/#robot）哪些頁面或目錄可以抓取，哪些需要屏蔽。
例如：
-
允許所有搜索引擎抓取：
User-agent: *
Allow: / -
禁止所有搜索引擎抓取：
User-agent: *
Disallow: /
2. 常見的 robots.txt 設置方式
? 2.1 允許所有內容被抓取
適合內容型網(wǎng)站（電商，博客）
User-agent: *
Allow: /
? 2.2 禁止整個網(wǎng)站抓取
適合開發(fā)中、測試環(huán)境
User-agent: *
Disallow: /
? 2.3 屏蔽指定目錄
適合屏蔽后臺、敏感目錄
User-agent: *
Disallow: /admin/
Disallow: /login/
Disallow: /cart/
? 2.4 針對特定搜索引擎設置
單獨禁止 Googlebot 抓取某些目錄
User-agent: Googlebot
Disallow: /private/
? 2.5 添加 sitemap 提示
告訴搜索引擎 sitemap.xml 的地址
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xml
3. 如何修改 robots.txt
? 3.1 WordPress 網(wǎng)站
方法一：安裝?Yoast SEO?或?Rank Math?插件，在后臺直接編輯 robots.txt；
方法二：通過?FTP 或主機面板，進入網(wǎng)站根目錄?
/public_html/，找到 robots.txt 文件并手動修改。
? 3.2 Shopify / Wix / Squarespace
一般系統(tǒng)自動生成，修改權限有限，可以通過?SEO 插件或主題設置調整。
? 3.3 自建獨立站 (PHP/HTML)
在網(wǎng)站根目錄（例如?
/var/www/html/）新建或修改?robots.txt?文件；保存后上傳至服務器即可生效。
4. 修改 robots.txt 的注意事項
不要屏蔽重要頁面：產品頁、分類頁必須允許抓取；
避免誤屏蔽 CSS/JS：否則可能影響 Google 渲染；
調試工具：可以用 [Google Search Console → 抓取工具測試 robots.txt]；
記得更新 sitemap：修改 robots.txt 后，最好提交 sitemap，幫助搜索引擎重新抓取。
文章為作者獨立觀點，不代表DLZ123立場。如有侵權,請聯(lián)系我們。( 版權為作者所有，如需轉載，請聯(lián)系作者 )
網(wǎng)站運營至今，離不開小伙伴們的支持。 為了給小伙伴們提供一個互相交流的平臺和資源的對接，特地開通了獨立站交流群。
群里有不少運營大神，不時會分享一些運營技巧，更有一些資源收藏愛好者不時分享一些優(yōu)質的學習資料。
現(xiàn)在可以掃碼進群，備注【加群】。 ( 群完全免費，不廣告不賣課！)
