1. 什么是 robots.txt?
robots.txt?是放在網(wǎng)站根目錄下的一個文本文件,用來告訴搜索引擎蜘蛛(crawler/#robot)哪些頁面或目錄可以抓取,哪些需要屏蔽。
例如:
-
允許所有搜索引擎抓取:
User-agent: *
Allow: / -
禁止所有搜索引擎抓取:
User-agent: *
Disallow: /
2. 常見的 robots.txt 設置方式
? 2.1 允許所有內容被抓取
適合內容型網(wǎng)站(電商,博客)
User-agent: *
Allow: /
? 2.2 禁止整個網(wǎng)站抓取
適合開發(fā)中、測試環(huán)境
User-agent: *
Disallow: /
? 2.3 屏蔽指定目錄
適合屏蔽后臺、敏感目錄
User-agent: *
Disallow: /admin/
Disallow: /login/
Disallow: /cart/
? 2.4 針對特定搜索引擎設置
單獨禁止 Googlebot 抓取某些目錄
User-agent: Googlebot
Disallow: /private/
? 2.5 添加 sitemap 提示
告訴搜索引擎 sitemap.xml 的地址
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xml
3. 如何修改 robots.txt
? 3.1 WordPress 網(wǎng)站
方法一:安裝?Yoast SEO?或?Rank Math?插件,在后臺直接編輯 robots.txt;
方法二:通過?FTP 或主機面板,進入網(wǎng)站根目錄?
/public_html/,找到 robots.txt 文件并手動修改。
? 3.2 Shopify / Wix / Squarespace
一般系統(tǒng)自動生成,修改權限有限,可以通過?SEO 插件或主題設置調整。
? 3.3 自建獨立站 (PHP/HTML)
在網(wǎng)站根目錄(例如?
/var/www/html/)新建或修改?robots.txt?文件;保存后上傳至服務器即可生效。
4. 修改 robots.txt 的注意事項
不要屏蔽重要頁面:產品頁、分類頁必須允許抓取;
避免誤屏蔽 CSS/JS:否則可能影響 Google 渲染;
調試工具:可以用 [Google Search Console → 抓取工具測試 robots.txt];
記得更新 sitemap:修改 robots.txt 后,最好提交 sitemap,幫助搜索引擎重新抓取。
文章為作者獨立觀點,不代表DLZ123立場。如有侵權,請聯(lián)系我們。( 版權為作者所有,如需轉載,請聯(lián)系作者 )
網(wǎng)站運營至今,離不開小伙伴們的支持。 為了給小伙伴們提供一個互相交流的平臺和資源的對接,特地開通了獨立站交流群。
群里有不少運營大神,不時會分享一些運營技巧,更有一些資源收藏愛好者不時分享一些優(yōu)質的學習資料。
現(xiàn)在可以掃碼進群,備注【加群】。 ( 群完全免費,不廣告不賣課!)
