新坑連載19：我是如何用robots.txt文件控制網(wǎng)站收錄數(shù)量的？

759 閱讀 0 評論 2 點贊

打個廣告，最后2個優(yōu)惠名額，課程介紹：100+自制視頻，7份獎金，這是我?guī)Ыo這份課程的誠意 - 課程正式報名

谷歌的算法現(xiàn)在變得更加謹慎，對網(wǎng)站的質量要求也越來越高，網(wǎng)站收錄的頁面數(shù)量越多，你的排名不一定的變得更高，反而變得很差。

這是因為谷歌要控制整個互聯(lián)網(wǎng)抓取的數(shù)量，這么多數(shù)據(jù)，它自己處理起來也費勁，成本也高。

于是有用的內容算法，核心算法，垃圾算法都紛紛而來，如何一部分頁面是低質量的沒，那么整個站也會收到牽連。

因此我們必須要控制收錄的網(wǎng)頁數(shù)量，那么核心就是：只收錄要排名的，有用的內容。

對于電商站，有用的內容就是產品頁，分類頁，首頁，其他頁面。（政策、關于我們，活動等）

谷歌GSC，也叫谷歌站長工具有專門的索引報告：

但是我發(fā)現(xiàn)，我才上傳了150個產品，加上文章50篇，也沒有1000多個頁面啊，這是怎么回事？

于是檢查已收錄的頁面：

domian.com/?blackhole=41c654ea9b

domian.com/?&filter_color=black,gold,grey,pink,purple,red,yellow

原來是有很多帶參數(shù)的鏈接被收錄了，也就是？后面的一堆東西。

第一個blackhole，

這是一個插件，用來屏蔽無良的爬蟲。

第二個?&filter_color=black，

這是一個主題功能，客戶可以用來過濾顏色以及其他屬性。這樣導致的結果就是帶參數(shù)的url無窮無盡。

雖然過濾功能對客戶來說很有用，但是這對搜索引擎幫助不大，不應該被收錄。因此，我們可以先用robots.txt 協(xié)議來解決它。robots.txt 是一個文件，指導爬蟲應該遵循什么規(guī)則。

但是這不是強制的，爬蟲仍然可以忽略規(guī)則爬取。但是大部分的搜索爬蟲，AI爬蟲還是遵守規(guī)則的。

因此我們可以來用這個控制爬蟲，再加上我們自己是WP建站，本身安全性就比Shopify差一些。還是需要做安全防護的。

分享一下，我目前WP站的robots.txt 規(guī)則：

User-agent:?*Disallow:?/wp-admin/Disallow:?/wp-includes/Disallow:?/wp-content/plugins/Disallow: /wp-content/themes/Disallow:?/wp-content/uploads/wc-logs/Disallow:?/wp-content/uploads/woocommerce_transient_files/Disallow:?/wp-content/uploads/woocommerce_uploads/Disallow: */feed/Disallow: */comments/Disallow:?/wp-login.phpDisallow: /readme.htmlDisallow:?/?s=*Disallow: /*?*Disallow:?/*blackholeDisallow: /?blackholeAllow:?/wp-admin/admin-ajax.php

用AI來解釋一下:

你可以根據(jù)你自己的網(wǎng)站設置來copy我這份txt協(xié)議。

另外，天天有私信質疑我網(wǎng)站的訂單，那么PayPal提現(xiàn)和物流商快遞費充值記錄也能說明一些問題了：

打個廣告，最后2個優(yōu)惠名額，課程介紹：100+自制視頻，7份獎金，這是我?guī)Ыo這份課程的誠意 - 課程正式報名

文章為作者獨立觀點，不代表DLZ123立場。如有侵權,請聯(lián)系我們。( 版權為作者所有，如需轉載，請聯(lián)系作者 )

網(wǎng)站運營至今，離不開小伙伴們的支持。為了給小伙伴們提供一個互相交流的平臺和資源的對接，特地開通了獨立站交流群。群里有不少運營大神，不時會分享一些運營技巧，更有一些資源收藏愛好者不時分享一些優(yōu)質的學習資料。

現(xiàn)在可以掃碼進群，備注【加群】。 ( 群完全免費，不廣告不賣課！)

點贊(2) 打賞