「谷歌SEO」2023年提高網(wǎng)站可抓取性和可索引性的 10 個步驟

較少討論但同樣重要的——不僅對用戶而且對搜索機(jī)器人來說——是您網(wǎng)站的可發(fā)現(xiàn)性。

互聯(lián)網(wǎng)上有 19.3 億個網(wǎng)站，大約有500 億個網(wǎng)頁。對于任何人類團(tuán)隊來說，這都太多了，因此這些機(jī)器人（也稱為蜘蛛）發(fā)揮著重要作用。

這些機(jī)器人通過跟蹤從網(wǎng)站到網(wǎng)站和頁面到頁面的鏈接來確定每個頁面的內(nèi)容。這些信息被編譯成一個龐大的 URL 數(shù)據(jù)庫或索引，然后通過搜索引擎的算法進(jìn)行排名。

導(dǎo)航和理解您的網(wǎng)站的這個兩步過程稱為抓取和索引。

作為一名 SEO 專業(yè)人士，您無疑已經(jīng)聽說過這些術(shù)語，但為了清楚起見，讓我們對它們進(jìn)行定義：

• 可抓取性是指這些搜索引擎機(jī)器人掃描和索引您的網(wǎng)頁的能力。

• 可索引性衡量搜索引擎分析您的網(wǎng)頁并將其添加到其索引中的能力。

正如您可能想象的那樣，這些都是 SEO 的重要組成部分。

如果您的網(wǎng)站的可抓取性較差，例如許多斷開的鏈接和死胡同，搜索引擎爬蟲將無法訪問您的所有內(nèi)容，這會將其從索引中排除。

另一方面，可索引性至關(guān)重要，因為未編入索引的頁面不會出現(xiàn)在搜索結(jié)果中。Google 如何對未包含在其數(shù)據(jù)庫中的頁面進(jìn)行排名？

抓取和索引過程比我們在這里討論的要復(fù)雜一些，但這是基本概述。

如果您正在尋找關(guān)于它們?nèi)绾喂ぷ鞯母钊氲挠懻摚珼ave Davies 有一篇關(guān)于爬行和索引的優(yōu)秀文章。

如何改進(jìn)抓取和索引

既然我們已經(jīng)介紹了這兩個過程的重要性，那么讓我們來看看您的網(wǎng)站中影響抓取和索引的一些元素 - 并討論為它們優(yōu)化您的網(wǎng)站的方法。

1.提高頁面加載速度

有數(shù)十億個網(wǎng)頁要編目，網(wǎng)絡(luò)蜘蛛不必整天等待您的鏈接加載。這有時稱為爬網(wǎng)預(yù)算。

如果您的網(wǎng)站未在指定的時間范圍內(nèi)加載，它們將離開您的網(wǎng)站，這意味著您將保持未抓取和未編入索引。正如您可以想象的那樣，這不利于 SEO。

因此，定期評估您的頁面速度并盡可能改進(jìn)它是一個好主意。

您可以使用 Google Search Console 或Screaming Frog等工具來檢查您網(wǎng)站的速度。

如果您的網(wǎng)站運(yùn)行緩慢，請采取措施緩解問題。這可能包括升級您的服務(wù)器或托管平臺、啟用壓縮、縮小 CSS、JavaScript 和 HTML，以及消除或減少重定向。

通過查看您的Core Web Vitals報告，找出導(dǎo)致加載時間變慢的原因。如果您想了解有關(guān)您的目標(biāo)的更詳細(xì)信息，尤其是從以用戶為中心的角度來看，Google Lighthouse是一個您可能會發(fā)現(xiàn)非常有用的開源工具。

2、加強(qiáng)內(nèi)鏈結(jié)構(gòu)

良好的網(wǎng)站結(jié)構(gòu)和內(nèi)部鏈接是成功的 SEO 策略的基本要素。搜索引擎難以抓取雜亂無章的網(wǎng)站，這使得內(nèi)部鏈接成為網(wǎng)站可以做的最重要的事情之一。

但不要只相信我們的話。以下是Google 的搜索倡導(dǎo)者 John Mueller對此的評價：

“內(nèi)部鏈接對于 SEO 來說非常重要。我認(rèn)為這是您可以在網(wǎng)站上做的最重要的事情之一，以引導(dǎo) Google 并引導(dǎo)訪問者訪問您認(rèn)為重要的頁面。”

如果您的內(nèi)部鏈接很差，您還會面臨孤立頁面或未鏈接到您網(wǎng)站的任何其他部分的頁面的風(fēng)險。由于沒有任何內(nèi)容指向這些頁面，因此搜索引擎找到它們的唯一方法是從您的站點(diǎn)地圖中。

要消除此問題以及其他由結(jié)構(gòu)不良引起的問題，請為您的站點(diǎn)創(chuàng)建一個合乎邏輯的內(nèi)部結(jié)構(gòu)。

您的主頁應(yīng)鏈接到金字塔下方頁面支持的子頁面。然后，這些子頁面應(yīng)該具有感覺自然的上下文鏈接。

另一件需要注意的事情是斷開的鏈接，包括那些在 URL 中有拼寫錯誤的鏈接。當(dāng)然，這會導(dǎo)致鏈接斷開，從而導(dǎo)致可怕的404 錯誤。換句話說，找不到頁面。

這樣做的問題是損壞的鏈接無濟(jì)于事，并且正在損害您的可抓取性。

仔細(xì)檢查您的網(wǎng)址，尤其是在您最近進(jìn)行過網(wǎng)站遷移、批量刪除或結(jié)構(gòu)更改的情況下。并確保您沒有鏈接到舊的或已刪除的 URL。

內(nèi)部鏈接的其他最佳實(shí)踐包括擁有大量可鏈接內(nèi)容（內(nèi)容始終為王），使用錨文本而不是鏈接圖像，以及在頁面上使用“合理數(shù)量”的鏈接（無論這意味著什么）。

哦，是的，并確保您使用跟隨鏈接作為內(nèi)部鏈接。

3. 將您的站點(diǎn)地圖提交給 Google

如果有足夠的時間，并且假設(shè)您沒有告訴它不要這樣做，Google 會抓取您的網(wǎng)站。這很好，但在您等待時，它對您的搜索排名沒有幫助。

如果您最近對您的內(nèi)容進(jìn)行了更改并希望 Google 立即了解它，最好將站點(diǎn)地圖提交到Google Search Console。

站點(diǎn)地圖是位于根目錄中的另一個文件。它作為搜索引擎的路線圖，直接鏈接到您網(wǎng)站上的每個頁面。

這有利于可索引性，因為它允許 Google 同時了解多個頁面。爬蟲可能必須遵循五個內(nèi)部鏈接才能發(fā)現(xiàn)深層頁面，但通過提交 XML 站點(diǎn)地圖，它可以通過一次訪問您的站點(diǎn)地圖文件找到您的所有頁面。

如果您有一個深度網(wǎng)站、經(jīng)常添加新頁面或內(nèi)容，或者您的網(wǎng)站沒有良好的內(nèi)部鏈接，那么將您的站點(diǎn)地圖提交給 Google 尤其有用。

4. 更新 Robots.txt 文件

您可能希望為您的網(wǎng)站創(chuàng)建一個robots.txt文件。雖然不是必需的，但 99% 的網(wǎng)站將其用作經(jīng)驗法則。如果您不熟悉它，它是您網(wǎng)站根目錄中的純文本文件。

它告訴搜索引擎爬蟲您希望他們?nèi)绾闻廊∧木W(wǎng)站。它的主要用途是管理機(jī)器人流量并防止您的網(wǎng)站因請求而過載。

這在可抓取性方面派上用場的地方是限制谷歌抓取和索引的頁面。例如，您可能不希望 Google 目錄中的目錄、購物車和標(biāo)簽等頁面。

當(dāng)然，這個有用的文本文件也會對您的可抓取性產(chǎn)生負(fù)面影響。非常值得查看您的 robots.txt 文件（如果您對自己的能力沒有信心，請讓專家這樣做），看看您是否無意中阻止了爬蟲訪問您的網(wǎng)頁。

robots.text 文件中的一些常見錯誤包括：

• Robots.txt 不在根目錄中。

• 通配符使用不當(dāng)。

• robots.txt 中沒有索引。

• 被阻止的腳本、樣式表和圖像。

• 沒有站點(diǎn)地圖網(wǎng)址。

5. 檢查你的規(guī)范化

規(guī)范標(biāo)簽將來自多個 URL 的信號整合到一個規(guī)范 URL 中。這可能是一種有用的方法，可以告訴 Google 索引您想要的頁面，同時跳過重復(fù)和過時的版本。

但這為流氓規(guī)范標(biāo)簽打開了大門。這些是指不再存在的頁面的舊版本，導(dǎo)致搜索引擎索引錯誤的頁面并使您的首選頁面不可見。

要消除此問題，請使用 URL 檢查工具掃描惡意標(biāo)簽并將其刪除。

如果您的網(wǎng)站面向國際流量，即，如果您將不同國家的用戶引導(dǎo)至不同的規(guī)范頁面，則您需要為每種語言設(shè)置規(guī)范標(biāo)簽。這可確保您的網(wǎng)頁以您網(wǎng)站使用的每種語言編入索引。

6. 進(jìn)行現(xiàn)場審核

既然您已經(jīng)執(zhí)行了所有這些其他步驟，您還需要做最后一件事來確保您的網(wǎng)站針對抓取和索引進(jìn)行了優(yōu)化：網(wǎng)站審核。首先要檢查 Google 為您的網(wǎng)站編制索引的頁面百分比。

檢查您的索引率

您的索引率是 Google 索引中的頁數(shù)除以我們網(wǎng)站上的頁數(shù)。

您可以通過轉(zhuǎn)到“頁面”選項卡并從 CMS 管理面板檢查網(wǎng)站上的頁面數(shù)，從 Google Search Console 索引中找出?google 索引中有多少頁。

您的網(wǎng)站很有可能會有一些您不想編入索引的頁面，因此這個數(shù)字可能不會是 100%。但如果可轉(zhuǎn)位率低于 90%，那么您就有需要調(diào)查的問題。

您可以從 Search Console 獲取未編入索引的網(wǎng)址并對其進(jìn)行審核。這可以幫助您了解導(dǎo)致問題的原因。

Google Search Console 中包含的另一個有用的站點(diǎn)審核工具是URL 檢查工具。這使您可以查看 Google 蜘蛛看到的內(nèi)容，然后您可以將其與真實(shí)網(wǎng)頁進(jìn)行比較，以了解 Google 無法呈現(xiàn)的內(nèi)容。

審核新發(fā)布的頁面

每當(dāng)您將新頁面發(fā)布到您的網(wǎng)站或更新您最重要的頁面時，您都應(yīng)該確保它們被編入索引。進(jìn)入 Google Search Console 并確保它們都顯示出來。

如果您仍然遇到問題，審核還可以讓您深入了解您的 SEO 策略的其他部分有哪些不足，所以這是雙贏的。使用免費(fèi)工具擴(kuò)展您的審計流程，例如：

1. Screaming Frog

2. Semrush

3. Ziptie

4. Oncrawl

5. Lumar

7.檢查低質(zhì)量或重復(fù)的內(nèi)容

如果 Google 不認(rèn)為您的內(nèi)容對搜索者有價值，它可能會認(rèn)為它不值得索引。眾所周知，這種稀薄的內(nèi)容可能是寫得不好的內(nèi)容（例如，充滿了語法錯誤和拼寫錯誤）、不是您的網(wǎng)站獨(dú)有的樣板內(nèi)容，或者沒有關(guān)于其價值和權(quán)威的外部信號的內(nèi)容。

要找到這一點(diǎn)，請確定您網(wǎng)站上的哪些頁面沒有被索引，然后查看它們的目標(biāo)查詢。他們是否為搜索者的問題提供了高質(zhì)量的答案？如果沒有，請更換或刷新它們。

重復(fù)的內(nèi)容是機(jī)器人在抓取您的網(wǎng)站時可能會掛斷的另一個原因。基本上，發(fā)生的情況是您的編碼結(jié)構(gòu)混淆了它，它不知道要索引哪個版本。這可能是由會話 ID、冗余內(nèi)容元素和分頁問題等引起的。

有時，這會在 Google Search Console 中觸發(fā)警報，告訴您 Google 遇到的 URL 比它認(rèn)為的要多。如果您沒有收到，請檢查您的抓取結(jié)果中是否存在重復(fù)或缺失的標(biāo)簽，或者帶有額外字符的 URL，這些字符可能會給機(jī)器人帶來額外的工作。

通過修復(fù)標(biāo)簽、刪除頁面或調(diào)整 Google 的訪問權(quán)限來糾正這些問題。

8. 消除重定向鏈和內(nèi)部重定向

隨著網(wǎng)站的發(fā)展，重定向是一種自然的副產(chǎn)品，將訪問者從一個頁面引導(dǎo)到更新或更相關(guān)的頁面。但是，雖然它們在大多數(shù)網(wǎng)站上都很常見，但如果您處理不當(dāng)，您可能會無意中破壞您自己的索引。

創(chuàng)建重定向時可能會犯幾個錯誤，但最常見的錯誤之一是重定向鏈。當(dāng)點(diǎn)擊的鏈接和目的地之間有多個重定向時，就會發(fā)生這種情況。谷歌并不認(rèn)為這是一個積極的信號。

在更極端的情況下，您可能會啟動一個重定向循環(huán)，其中一個頁面重定向到另一個頁面，另一個頁面指向另一個頁面，依此類推，直到它最終鏈接回第一個頁面。換句話說，您創(chuàng)建了一個永無止境的循環(huán)，無處可去。

使用 Screaming Frog、Redirect-Checker.org或類似工具檢查您網(wǎng)站的重定向。

9.修復(fù)斷開的鏈接

同樣，斷開的鏈接也會嚴(yán)重破壞您網(wǎng)站的可抓取性。您應(yīng)該定期檢查您的網(wǎng)站以確保您沒有損壞的鏈接，因為這不僅會損害您的 SEO 結(jié)果，還會讓人類用戶感到沮喪。

您可以通過多種方式在您的網(wǎng)站上找到損壞的鏈接，包括手動評估您網(wǎng)站上的每個鏈接（頁眉、頁腳、導(dǎo)航、文本等），或者您可以使用 Google Search Console、Analytics 或Screaming Frog 發(fā)現(xiàn) 404 錯誤。

找到損壞的鏈接后，您可以通過三個選項來修復(fù)它們：重定向它們（請參閱上面的警告部分）、更新它們或刪除它們。

10. 現(xiàn)在索引

IndexNow 是一個相對較新的協(xié)議，它允許通過 API 在搜索引擎之間同時提交 URL。它通過提醒搜索引擎有關(guān)新 URL 和您網(wǎng)站的更改來像提交 XML 站點(diǎn)地圖的超級充電版本一樣工作。

基本上，它所做的是預(yù)先為爬蟲提供了通往您網(wǎng)站的路線圖。他們會帶著他們需要的信息進(jìn)入您的網(wǎng)站，因此無需經(jīng)常重新檢查站點(diǎn)地圖。與 XML 站點(diǎn)地圖不同，它允許您通知搜索引擎有關(guān)非 200 狀態(tài)代碼頁面的信息。

實(shí)現(xiàn)它很容易，只需要您生成一個 API 密鑰，將其托管在您的目錄或其他位置，并以推薦的格式提交您的 URL。

包起來

到目前為止，您應(yīng)該對網(wǎng)站的可索引性和可抓取性有一個很好的了解。您還應(yīng)該了解這兩個因素對您的搜索排名有多重要。

如果 Google 的蜘蛛可以抓取您的網(wǎng)站并將其編入索引，那么無論您使用多少關(guān)鍵字、反向鏈接和標(biāo)簽，您都不會出現(xiàn)在搜索結(jié)果中。

這就是為什么必須定期檢查您的網(wǎng)站是否存在任何可能會阻礙、誤導(dǎo)或誤導(dǎo)機(jī)器人的原因。

因此，為自己準(zhǔn)備一套好的工具并開始吧。勤奮并注意細(xì)節(jié)，你很快就會讓谷歌蜘蛛像蜘蛛一樣涌入你的網(wǎng)站。