熟悉搜索引擎工作原理的都知道,索引頁面是排名的必要條件,你的頁面只有被搜索引擎索引以后,才有可能進一步參與排名。在搜索引擎索引的過程中會遇到很多問題,本篇文章將以Google為例,介紹搜索引擎索引的相關問題及解決方法。文章較長,建議收藏一下。

      背景 ?

      本文主要是基于已經添加GSC驗證的網站的“編制索引”板塊的相關索引問題進行展開。
      ? ?
      GSC頁面截圖
      如上圖,在我們查看GSC的“網頁”板塊時,會發現很多網頁未被編入索引的原因,這些原因以表格的形式展示,當你點擊某個原因時,會跳轉到相關問題url列表。
      我們首先要說一下,這里只是列出了我們頁面未被索引的原因,并不是說我們要處理列表里的所有原因,例如:
      1,已經處理過,但是Google還沒來得及再次索引的頁面;
      2,根據網站或者公司發展,經過技術特意排除索引的頁面;
      3,由于安裝某些插件而產生的Noindex頁面,而這些頁面是否index不是基于設置,而是基于其他原因的;
      以上這些問題實際上已經不是技術SEO所涉及的范疇,我們需要做的只能是按部就班的工作以及等待。
      此外,原因列表里的“來源”字段標記了產生問題的來源,作為技術,我們主要需要解決的是“網站”來源導致的noindex問題。
      下面我們開始一個個講解各個問題及解決方法,如果大家想找特定問題的解決方法,可以快速滑到相關問題。

      被“noindex”標記排除了 ?

      如果你的“網頁未被索引的原因”類別里有這個條目,那么谷歌會給你提供一個幫助文檔指導你如何操作。如下圖,點擊“了解詳情”可以查看谷歌幫助文檔。
      ? ?
      GSC頁面截圖
      另外,GSC為每個url提供了測試的入口,以及不被編入索引的原因。你可以在位于GSC上方的網址檢查里直接輸入網址進行查看,如下圖,
      ? ? ? ? ?

      ?GSC頁面截圖

      也可以點擊示例列表里的單個url,點擊“檢查網址”就會出現如下圖結果,
      GSC頁面截圖
      一旦你確定了問題原因并付諸解決,就可以點擊“驗證修正情況”進行驗證。
      事實上,出現noindex標記的原因有很多,谷歌幫助文檔里只是指導我們找到了頁面的noindex標記,但需要我們進一步去查驗具體原因。包括:
      1,公司出于某種特定原因故意noindex掉的,這種是不需要我們處理的;
      2,由于插件的使用不當而產生的,這里就需要你去尋蹤,看到底是哪里設置的問題;
      3,Robots.txt的錯誤配置使得頁面被noindex掉,檢查robots.txt頁面進行修正;
      4,JS實施不當,檢查JS文件 ? ?

      未找到 (404) ?

      404頁面通常是由于之前的頁面被刪除而產生的,但也可能是你建站時存在的url設置或者拼寫錯誤,還有可能是用戶在訪問時產生的錯誤url導致的。如下圖,我們可以去谷歌文檔查看原因。
      GSC頁面截圖
      解決方法:
      1,對于刪除頁面而產生的404頁面,需要我們去查找一下是否有來到這個頁面的內鏈和外鏈,如果有的話,可以修改這些鏈接到新頁面,或者將404頁面做301跳轉;
      2,如果是url設置或者拼寫錯誤的原因,需要找到具體的頁面,進行修改;
      3,對于用戶訪問時產生的404頁面,建議在建站時盡量制作一個用戶友好的頁面,使這些用戶可以去到想去的頁面,而不是流失掉。

      服務器錯誤 (5xx) ?

      HTTP 500錯誤很多時候是服務器有問題,而不是網站、網絡等有問題,這種情況下,你需要和服務商聯系詢問某個時段的網絡情況。
      如何確定這個時段呢?
      你可以點擊url列表里的某個url,進行“檢查網址”查看上次抓取時間,如下圖,??
      GSC頁面截圖
      你需要詢問谷歌抓取時間的前后幾分鐘是否出現過服務器問題。另外,并不是所有500錯誤頁面都是由于服務器問題產生的,以下幾個原因也可能網頁導致500錯誤:
      1,.htaccess文件損壞或者某些特定配置也會導致網頁訪問發生500錯誤;
      2,權限問題,有可能網站管理員設置了頁面訪問權限,你被排除在外;
      3,PHP響應超時,數據庫無法正常連接,導致500錯誤頁面產生;
      4,如果你使用的是Wordpress這類的CMS系統,也可能是你的主題或者插件出了問題,可以嘗試更換升級主題或者停用插件來解決這個問題;
      5,網站流量高并發,流量高峰期服務器無法即時響應也會導致500錯誤,這時就需要你考慮擴容升級服務器,或者更換服務器了。 ? ?

      網頁會自動重定向和備用網頁(有適當的規范標記) ?

      “網頁會自動重定向”和“備用網頁”這兩個導致未被索引的原因我歸到了一類中,是因為如果是這兩種原因導致的不被索引,你只需要查看是否有聲明規范網址,如果谷歌給你的結果是已經有規范網址。并且“檢查”已經收錄規范網址,那么這里就不需要對網站本身進行修改了。
      GSC頁面截圖
      GSC頁面截圖
      比如我這里的url有規范網址,并且“檢查”顯示已經編入索引,那么就可以了。
      另外, 要記得定期檢查是否有重復頁面,如果存在重復頁面,一定要做好規范化,以防時間太久,出現太多相似頁面導致關鍵詞蠶食以及無法做好權重分配和集中。
      閱讀更多:Technical SEO: 如何處理網站上的重復內容?規范化!
      這里需要說一下備用網頁和重復網頁的區別: ? ?
      如果谷歌發現同一個網站上有多個網址顯示的內容基本相同,就會將這些網址視為重復內容,比如一些toC站通過不同的篩選方式會出現相同結果列表的頁面,這些頁面就屬于重復頁面。對于這些重復頁面,你需要設置規范網址,非規范網址一般不會參與排名,除非這個非規范頁面是備用頁面。
      當谷歌發現某個頁面適配特定設備(比如手機等移動設備)時,或者被標記為同一網頁的其他語言版本的類似網址時,可能會將這些網址標記為針對相應設備類型或語言的備用網址。系統會根據用戶使用的語言或設備視情況提供備用網址。當然,備用網址也可以進行標記。備用網址是重復網址的一部分。

      軟404 ?

      不同于404頁面直接返回404狀態碼,軟404雖然向用戶返回的頁面顯示是“不存在”,但是返回的狀態碼是200狀態碼,這種情況下,軟404頁面實際上向用戶展示的是一個空頁面。之前有轉載過SEOTEA的一篇軟404文章,介紹比較全面,不懂的可以點擊這里查看。
      導致Google索引結果顯示軟404的原因有很多,包括
      1,服務器缺少包含(SSI)的文件
      2,數據庫連接中斷
      3,網站搜索結果為空產生的空頁面
      4,未加載或者缺少JS文件
      5,網站中途修改,某些頁面模板丟失或者刪除
      雖然頁面返回的是200狀態碼,但這類型頁面實際上單薄而無物,是我們需要修正的頁面。
      對于軟404的修正你需要考慮:
      ① 頁面是否存在? ? ?
      ② 內容是否留存?
      1,如果網頁和內容都不存在了,可以直接返回404 not found;
      2,如果網頁和內容已經移到別處,可以301重定向到該頁面;
      3,如果網頁和內容依然存在,那就需要你通過網址檢查工具進一步查看頁面內容和返回碼。如果存在大量的無法加載的資源,比如圖片、視頻、JS等非文本內容,要盡量對這些資源進行優化,或者替換。

      已發現 - 尚未編入索引? ?

      如果你的網站較新,會存在很多這類頁面,不要著急,可以多做一些外鏈吸引谷歌機器人加快抓取。如下圖,谷歌也提供了幫助文檔幫你了解谷歌正在積極的抓取你的頁面。
      GSC頁面截圖

      已抓取 - 尚未編入索引 ?

      Google 已抓取相應網頁,但尚未將其編入索引。日后,該網頁可能會被編入索引,也可能不會被編入索引;無論如何,您都無需重新提交該網址以供抓取。 ? ?
      GSC頁面截圖
      對于已抓取但遲遲未被索引的頁面,要考慮是否內容過于單薄,可以嘗試優化內容獲取索引。
      谷歌對于頁面不索引有很多原因,并不至于以上原因,可以查看谷歌幫助文檔的“網頁索引編制”報告查看更多解決方法。文末附相關文檔鏈接。

      使用工具促進索引 ?

      如果你嘗試了所有這些導致頁面不索引原因的解決方式之后,還是無法解決你的索引問題,可以嘗試使用一些促進索引的工具。
      A.使用GSC的“請求編入索引”按鈕
      GSC網址檢查結果里有一個“請求編入索引”按鈕,如果你已經對不索引的頁面進行了修改,可以手動請求編入索引。
      GSC頁面截圖
      但需要注意,手動請求的次數有限制,多次請求相同的網址也不會為此開綠燈,而且不是說你請求了就會被索引,需要耐心等待。此外,谷歌也強調只有高質量有用的內容才會被索引。? ??
      B.提交站點地圖
      如果你修改了大量了問題,可以在GSC中提交站點地圖。如果你的網站缺少站點地圖,是時候創建一個并提交了。
      GSC頁面截圖
      C.使用網絡工具
      Tag Parrota是一款加快谷歌索引的網絡工具,你只要連接GSC設置好,就可以一鍵自動索引,不過需要付費,網站上有價格表,大家可以參考,網址我放文末了。
      對于新站,這樣的工具會有一定的幫助,但對于老站,就需要我們考慮是否值得。
      這里需要提一句,谷歌索引并不代表參與排名,更不代表會有好的排名,谷歌索引只是表示你的頁面有參與排名的機會。所以,是否需要花錢促進索引是你需要考慮的問題。
      D.通過各個平臺引流
      從社媒,Google Ads等平臺來引流,以及發布外鏈,來增加網站互動,將會促進網站被收錄的速度。 ? ?

      最后 ?

      網頁被索引不是我們建立網站的最終目標,而是第一步,盡量積極的解決索引問題才能讓我們的網站更健康。
      文中相關網址:
      谷歌幫助文檔的“網頁索引編制”報告
      https://support.google.com/webmasters/answer/7440203#crawled
      Tag Parrota
      https://tagparrot.com/pricing


      點贊(5) 打賞

      評論列表 共有 0 條評論

      暫無評論

      服務號

      訂閱號

      備注【拉群】

      商務洽談

      微信聯系站長

      發表
      評論
      立即
      投稿
      返回
      頂部