新坑連載19：我是如何用robots.txt文件控制網站收錄數量的？

599 閱讀 0 評論 2 點贊

打個廣告，最后2個優惠名額，課程介紹：100+自制視頻，7份獎金，這是我帶給這份課程的誠意 - 課程正式報名

谷歌的算法現在變得更加謹慎，對網站的質量要求也越來越高，網站收錄的頁面數量越多，你的排名不一定的變得更高，反而變得很差。

這是因為谷歌要控制整個互聯網抓取的數量，這么多數據，它自己處理起來也費勁，成本也高。

于是有用的內容算法，核心算法，垃圾算法都紛紛而來，如何一部分頁面是低質量的沒，那么整個站也會收到牽連。

因此我們必須要控制收錄的網頁數量，那么核心就是：只收錄要排名的，有用的內容。

對于電商站，有用的內容就是產品頁，分類頁，首頁，其他頁面。（政策、關于我們，活動等）

谷歌GSC，也叫谷歌站長工具有專門的索引報告：

但是我發現，我才上傳了150個產品，加上文章50篇，也沒有1000多個頁面啊，這是怎么回事？

于是檢查已收錄的頁面：

domian.com/?blackhole=41c654ea9b

domian.com/?&filter_color=black,gold,grey,pink,purple,red,yellow

原來是有很多帶參數的鏈接被收錄了，也就是？后面的一堆東西。

第一個blackhole，

這是一個插件，用來屏蔽無良的爬蟲。

第二個?&filter_color=black，

這是一個主題功能，客戶可以用來過濾顏色以及其他屬性。這樣導致的結果就是帶參數的url無窮無盡。

雖然過濾功能對客戶來說很有用，但是這對搜索引擎幫助不大，不應該被收錄。因此，我們可以先用robots.txt 協議來解決它。robots.txt 是一個文件，指導爬蟲應該遵循什么規則。

但是這不是強制的，爬蟲仍然可以忽略規則爬取。但是大部分的搜索爬蟲，AI爬蟲還是遵守規則的。

因此我們可以來用這個控制爬蟲，再加上我們自己是WP建站，本身安全性就比Shopify差一些。還是需要做安全防護的。

分享一下，我目前WP站的robots.txt 規則：

User-agent:?*Disallow:?/wp-admin/Disallow:?/wp-includes/Disallow:?/wp-content/plugins/Disallow: /wp-content/themes/Disallow:?/wp-content/uploads/wc-logs/Disallow:?/wp-content/uploads/woocommerce_transient_files/Disallow:?/wp-content/uploads/woocommerce_uploads/Disallow: */feed/Disallow: */comments/Disallow:?/wp-login.phpDisallow: /readme.htmlDisallow:?/?s=*Disallow: /*?*Disallow:?/*blackholeDisallow: /?blackholeAllow:?/wp-admin/admin-ajax.php