抓取配額指的是谷歌爬蟲在一個域名中抓取頁面所花費的時間和資源量。

優化您的網站非常重要，因為這樣谷歌能更快地找到您的內容并對其進行索引，以此提高網站的可見度和流量。

如果您擁有包含數百萬個頁面的大型網站，那么管理抓取配額尤為重要，這將幫助谷歌更易抓到您網站的重要頁面，并更好地理解頁面的內容。

“如果您的網站沒有大量快速變化的頁面，或者您的頁面在發布當天就被抓取，那么不斷更新站點地圖并定期檢查索引覆蓋范圍就足夠了。谷歌還規定必須對每個頁面進行審查、整合和評估，以確定其抓取后的索引位置。

抓取配額主要由兩個因素決定：抓取速度限制和抓取需求

抓取需求是指谷歌希望在您的網站上進行抓取的程度。較受歡迎的頁面，例如CNN的熱門報道和有顯著變化的頁面，會被抓取得更多。

谷歌爬蟲希望在不給您的服務器帶來過大負擔的情況下抓取網站。為防止這種情況發生，谷歌機器人會計算抓取速度限制，即谷歌爬蟲可用于抓取網站的最大并連數，以及抓取之間的時間延遲。

結合抓取速度和抓取需求，谷歌將抓取配額定義為谷歌爬蟲可以且希望抓取的URL集合。即使未達到抓取速度限制，在抓取需求較低時，谷歌機器人也會減少對網站的抓取。

以下是管理大中型網站（擁有10,000個URL到數百萬個URL）抓取配額的12個建議：

確定哪些頁面重要，哪些頁面不值得抓取（谷歌會較少訪問不重要的頁面）。

通過分析確定這一點后，就可以知道網站上哪些頁面值得抓取，哪些頁面不值得抓取，并將其排除在抓取范圍之外。

例如，Macys.com有200多萬個已編入索引的頁面。

2023年6月，谷歌搜索 [site:macys.com] 的截圖

該網站通過在robots.txt文件中通知谷歌不要抓取站點上的某些頁面來管理其抓取配額。谷歌爬蟲可能會認為不值得花時間查看網站的其他部分或增加抓取配額。因此要確保通過robots.txt文件阻止分面導航和會話標識符的訪問。

雖然谷歌不會對重復內容進行處罰，但您還是希望向谷歌提供原創和獨特的信息，以滿足終端用戶的搜索需求，并使其具有相關性和實用性。確保有使用robots.txt文件。

谷歌建議不要使用noindex標簽，因為谷歌仍會請求但隨后會放棄。

對于擁有數百萬個頁面的企業級網站，谷歌建議使用robots.txt文件來阻止抓取不重要的URL。

此外，您還要確保谷歌機器人和其他搜索引擎可以抓取您的重要頁面、包含重要內容的目錄以及關鍵頁面。

如果可能的話，請保持較少數量的重定向。過多的重定向或循環重定向可能會使谷歌產生困惑，并降低抓取限制。

谷歌指出，長重定向鏈可能會對抓取產生負面影響。

使用HTML可以增加任何搜索引擎爬蟲訪問您網站的幾率。

雖然谷歌機器人在抓取和索引JavaScript方面已經有所改進，但其他搜索引擎爬蟲并不像谷歌那樣復雜，因此可能會在HTML以外的其他語言方面出現問題。

確保您的網站對網站核心指標（Core Web Vitals）進行了優化。

您的內容加載速度越快（即三秒以內），谷歌就能越快地向終端用戶提供信息。如果用戶喜歡您的網站，谷歌將繼續索引您的內容，因為您的網站顯示出良好的谷歌抓取健康狀況，也可能會因此增加您的抓取配額。

谷歌認為，內容是根據質量而非頁面新舊評估的。必要時需要創建和更新內容，但通過微小的改動和更新頁面日期來人為地讓頁面看起來更新并沒有額外的價值。

如果您的內容滿足終端用戶的需求，那么新舊并不重要，只要它有幫助且相關即可。

如果用戶認為您的內容沒有幫助且無關，那么建議您更新和刷新內容，使其更新、相關且有用，并通過社交媒體進行推廣。

此外，在主頁增加鏈接到您的頁面，這樣可能增加重要性，被抓取的次數也會更多。

如果您刪除了網站上的某些頁面，請確保URL返回404或410狀態，表示永久刪除。404狀態碼表明將不再抓取該URL。

不過，被阻止的URL會在抓取隊列中保留更長時間，并且將在阻止解除后被重新抓取。

此外，谷歌還規定要移除所有軟404頁面，這些頁面將繼續被抓取，浪費您的抓取配額。如要測試這一點，可以進入谷歌GSC并查看索引覆蓋率報告，查找軟404錯誤。

如果您的網站存在許多5xx HTTP響應狀態碼（服務器錯誤）或連接超時信號，抓取速度就會變慢。谷歌建議您密切關注搜索控制臺中的抓取統計報告，并盡量減少服務器錯誤的數量。

另外，谷歌不會遵守非標準的“抓取延遲”robots.txt規則。

即使您使用了nofollow標簽，但如果您網站上的其他頁面或者任何其他頁面未將該鏈接標記為nofollow，那么該頁面仍可能被抓取，從而浪費抓取配額。

XML站點地圖對于幫助谷歌發現您的內容并加快抓取速度非常重要。

以下幾點至關重要：保持站點地圖URL的更新，使用<lastmod>標簽標記已更新的內容，以及遵循SEO最佳實踐，包括但不限于以下幾點：

擁有良好的網站架構對于SEO排名和索引以及用戶體驗至關重要。

網站架構可以在多方面影響搜索引擎結果頁面（SERP）的結果，包括抓取能力、點擊率和用戶體驗。

擁有清晰的網站架構可以有效利用抓取配額，從而幫助谷歌機器人找到任何新的或已更新的內容。

請始終牢記三次點擊規則，即任何用戶最多點擊三次即可從網站上的任何頁面跳轉到另一個頁面。

網站越容易被搜素引擎抓取和瀏覽，抓取工具就越容易識別您的網站結構、上下文和重要內容。

建立指向某個頁面的內部鏈接可以讓谷歌知道該頁面的重要性，有助于建立特定網站的信息層次結構，并有助于在整個網站中傳播鏈接權益。

始終查看和監控GSC，以了解網站在抓取過程中是否存在任何問題，并尋找提高抓取效率的方法。

您可以使用抓取統計報告來查看谷歌機器人在抓取您的網站時是否遇到任何問題。

如果GSC報告了您網站的可用性錯誤或警告，請在主機可用性圖表中查找谷歌爬蟲請求超過紅色限制線的情況，點擊進入圖表查看哪些URL存在問題，并嘗試將其與您網站上的問題聯系起來。

此外，您還可以使用URL Inspector工具來隨機測試網站上的幾個URL。

如果URL檢測工具返回主機負載警告，這就意味著谷歌爬蟲無法從您的網站中抓取到它所發現的多個URL。

由于大型網站規模龐大、結構復雜，因此抓取配額優化對于大型網站來說至關重要。

由于頁面和動態內容眾多，搜索引擎爬蟲在高效抓取和索引網站內容方面面臨挑戰。

通過優化抓取配額，網站所有者可以優先抓取重要和更新的頁面并編制索引，確保搜索引擎合理有效地利用資源。

這一優化過程包括改進網站架構、管理URL參數、設置抓取優先級和消除重復內容等技術，從而提高搜索引擎的可見度，改善用戶體驗，增加大型網站的有機流量。

原文鏈接：（點擊文末閱讀原文可跳轉）

https://www.searchenginejournal.com/crawl-budget-for-large-sites/

END