熟悉搜索引擎工作原理的都知道,索引頁面是排名的必要條件,你的頁面只有被搜索引擎索引以后,才有可能進一步參與排名。在搜索引擎索引的過程中會遇到很多問題,本篇文章將以Google為例,介紹搜索引擎索引的相關問題及解決方法。文章較長,建議收藏一下。
背景
?
本文主要是基于已經添加GSC驗證的網站的“編制索引”板塊的相關索引問題進行展開。
? ?如上圖,在我們查看GSC的“網頁”板塊時,會發現很多網頁未被編入索引的原因,這些原因以表格的形式展示,當你點擊某個原因時,會跳轉到相關問題url列表。我們首先要說一下,這里只是列出了我們頁面未被索引的原因,并不是說我們要處理列表里的所有原因,例如:1,已經處理過,但是Google還沒來得及再次索引的頁面;2,根據網站或者公司發展,經過技術特意排除索引的頁面;3,由于安裝某些插件而產生的Noindex頁面,而這些頁面是否index不是基于設置,而是基于其他原因的;以上這些問題實際上已經不是技術SEO所涉及的范疇,我們需要做的只能是按部就班的工作以及等待。此外,原因列表里的“來源”字段標記了產生問題的來源,作為技術,我們主要需要解決的是“網站”來源導致的noindex問題。下面我們開始一個個講解各個問題及解決方法,如果大家想找特定問題的解決方法,可以快速滑到相關問題。被“noindex”標記排除了
?
如果你的“網頁未被索引的原因”類別里有這個條目,那么谷歌會給你提供一個幫助文檔指導你如何操作。如下圖,點擊“了解詳情”可以查看谷歌幫助文檔。
? ?另外,GSC為每個url提供了測試的入口,以及不被編入索引的原因。你可以在位于GSC上方的網址檢查里直接輸入網址進行查看,如下圖,也可以點擊示例列表里的單個url,點擊“檢查網址”就會出現如下圖結果,一旦你確定了問題原因并付諸解決,就可以點擊“驗證修正情況”進行驗證。事實上,出現noindex標記的原因有很多,谷歌幫助文檔里只是指導我們找到了頁面的noindex標記,但需要我們進一步去查驗具體原因。包括:1,公司出于某種特定原因故意noindex掉的,這種是不需要我們處理的;2,由于插件的使用不當而產生的,這里就需要你去尋蹤,看到底是哪里設置的問題;3,Robots.txt的錯誤配置使得頁面被noindex掉,檢查robots.txt頁面進行修正;未找到 (404)
?
404頁面通常是由于之前的頁面被刪除而產生的,但也可能是你建站時存在的url設置或者拼寫錯誤,還有可能是用戶在訪問時產生的錯誤url導致的。如下圖,我們可以去谷歌文檔查看原因。1,對于刪除頁面而產生的404頁面,需要我們去查找一下是否有來到這個頁面的內鏈和外鏈,如果有的話,可以修改這些鏈接到新頁面,或者將404頁面做301跳轉;2,如果是url設置或者拼寫錯誤的原因,需要找到具體的頁面,進行修改;3,對于用戶訪問時產生的404頁面,建議在建站時盡量制作一個用戶友好的頁面,使這些用戶可以去到想去的頁面,而不是流失掉。服務器錯誤 (5xx)
?
HTTP 500錯誤很多時候是服務器有問題,而不是網站、網絡等有問題,這種情況下,你需要和服務商聯系詢問某個時段的網絡情況。你可以點擊url列表里的某個url,進行“檢查網址”查看上次抓取時間,如下圖,??你需要詢問谷歌抓取時間的前后幾分鐘是否出現過服務器問題。另外,并不是所有500錯誤頁面都是由于服務器問題產生的,以下幾個原因也可能網頁導致500錯誤:1,.htaccess文件損壞或者某些特定配置也會導致網頁訪問發生500錯誤;2,權限問題,有可能網站管理員設置了頁面訪問權限,你被排除在外;3,PHP響應超時,數據庫無法正常連接,導致500錯誤頁面產生;4,如果你使用的是Wordpress這類的CMS系統,也可能是你的主題或者插件出了問題,可以嘗試更換升級主題或者停用插件來解決這個問題;5,網站流量高并發,流量高峰期服務器無法即時響應也會導致500錯誤,這時就需要你考慮擴容升級服務器,或者更換服務器了。 ? ?
網頁會自動重定向和備用網頁(有適當的規范標記)
?
“網頁會自動重定向”和“備用網頁”這兩個導致未被索引的原因我歸到了一類中,是因為如果是這兩種原因導致的不被索引,你只需要查看是否有聲明規范網址,如果谷歌給你的結果是已經有規范網址。并且“檢查”已經收錄規范網址,那么這里就不需要對網站本身進行修改了。比如我這里的url有規范網址,并且“檢查”顯示已經編入索引,那么就可以了。另外, 要記得定期檢查是否有重復頁面,如果存在重復頁面,一定要做好規范化,以防時間太久,出現太多相似頁面導致關鍵詞蠶食以及無法做好權重分配和集中。如果谷歌發現同一個網站上有多個網址顯示的內容基本相同,就會將這些網址視為重復內容,比如一些toC站通過不同的篩選方式會出現相同結果列表的頁面,這些頁面就屬于重復頁面。對于這些重復頁面,你需要設置規范網址,非規范網址一般不會參與排名,除非這個非規范頁面是備用頁面。當谷歌發現某個頁面適配特定設備(比如手機等移動設備)時,或者被標記為同一網頁的其他語言版本的類似網址時,可能會將這些網址標記為針對相應設備類型或語言的備用網址。系統會根據用戶使用的語言或設備視情況提供備用網址。當然,備用網址也可以進行標記。備用網址是重復網址的一部分。軟404
?
不同于404頁面直接返回404狀態碼,軟404雖然向用戶返回的頁面顯示是“不存在”,但是返回的狀態碼是200狀態碼,這種情況下,軟404頁面實際上向用戶展示的是一個空頁面。之前有轉載過SEOTEA的一篇軟404文章,介紹比較全面,不懂的可以點擊這里查看。導致Google索引結果顯示軟404的原因有很多,包括雖然頁面返回的是200狀態碼,但這類型頁面實際上單薄而無物,是我們需要修正的頁面。1,如果網頁和內容都不存在了,可以直接返回404 not found;2,如果網頁和內容已經移到別處,可以301重定向到該頁面;3,如果網頁和內容依然存在,那就需要你通過網址檢查工具進一步查看頁面內容和返回碼。如果存在大量的無法加載的資源,比如圖片、視頻、JS等非文本內容,要盡量對這些資源進行優化,或者替換。已發現 - 尚未編入索引? ?
如果你的網站較新,會存在很多這類頁面,不要著急,可以多做一些外鏈吸引谷歌機器人加快抓取。如下圖,谷歌也提供了幫助文檔幫你了解谷歌正在積極的抓取你的頁面。已抓取 - 尚未編入索引
?
Google 已抓取相應網頁,但尚未將其編入索引。日后,該網頁可能會被編入索引,也可能不會被編入索引;無論如何,您都無需重新提交該網址以供抓取。 ? ?對于已抓取但遲遲未被索引的頁面,要考慮是否內容過于單薄,可以嘗試優化內容獲取索引。谷歌對于頁面不索引有很多原因,并不至于以上原因,可以查看谷歌幫助文檔的“網頁索引編制”報告查看更多解決方法。文末附相關文檔鏈接。使用工具促進索引
?
如果你嘗試了所有這些導致頁面不索引原因的解決方式之后,還是無法解決你的索引問題,可以嘗試使用一些促進索引的工具。GSC網址檢查結果里有一個“請求編入索引”按鈕,如果你已經對不索引的頁面進行了修改,可以手動請求編入索引。但需要注意,手動請求的次數有限制,多次請求相同的網址也不會為此開綠燈,而且不是說你請求了就會被索引,需要耐心等待。此外,谷歌也強調只有高質量有用的內容才會被索引。? ??如果你修改了大量了問題,可以在GSC中提交站點地圖。如果你的網站缺少站點地圖,是時候創建一個并提交了。Tag Parrota是一款加快谷歌索引的網絡工具,你只要連接GSC設置好,就可以一鍵自動索引,不過需要付費,網站上有價格表,大家可以參考,網址我放文末了。對于新站,這樣的工具會有一定的幫助,但對于老站,就需要我們考慮是否值得。這里需要提一句,谷歌索引并不代表參與排名,更不代表會有好的排名,谷歌索引只是表示你的頁面有參與排名的機會。所以,是否需要花錢促進索引是你需要考慮的問題。從社媒,Google Ads等平臺來引流,以及發布外鏈,來增加網站互動,將會促進網站被收錄的速度。 ? ?最后
?
網頁被索引不是我們建立網站的最終目標,而是第一步,盡量積極的解決索引問題才能讓我們的網站更健康。https://support.google.com/webmasters/answer/7440203#crawledhttps://tagparrot.com/pricing
文章為作者獨立觀點,不代表DLZ123立場。如有侵權,請聯系我們。( 版權為作者所有,如需轉載,請聯系作者 )
網站運營至今,離不開小伙伴們的支持。 為了給小伙伴們提供一個互相交流的平臺和資源的對接,特地開通了獨立站交流群。
群里有不少運營大神,不時會分享一些運營技巧,更有一些資源收藏愛好者不時分享一些優質的學習資料。
現在可以掃碼進群,備注【加群】。 ( 群完全免費,不廣告不賣課!)