前幾天，有朋友咨詢自己的網站內容被惡意抓取，展示在別人的網站上，該怎么辦？今天我們就講一下如何從Google中刪除網址，從Google中刪除網址的方法有很多種，但沒有一種方法是萬能的。這取決于你的當前的情況。使用錯誤的方法有時不僅會導致頁面未按預期從索引中刪除，而且可能對SEO產生負面影響。為了幫助你快速確定哪種刪除方法最適合你，我們制作了一個流程圖，以便你可以跳到你最需要的部分。
如何檢查URL是否已編入索引
我們通常檢查內容是否被索引的做法是使用site:在Google中搜索。site:搜索可用于查看網站的頁面，但如果你的頁面顯示在搜索結果中，這也并不能說明你的頁面被索引或沒有被索引。site:搜索可能只是顯示Google已知的頁面。并不意味著這些頁面有資格在其他搜索詞的SERP中參與排名。例如，site:搜索仍然可以顯示重定向或規范化到另一個頁面的頁面。當你請求訪問特定網站時，Google可能會顯示該域名下的頁面，以及其他域名下的內容、標題和說明。以moz.com為例，它以前是seomoz.org。當你查詢指向moz.com上的頁面時，會在SERP中顯示moz.com，而查詢site:seomoz.org將在SERP中顯示seomoz.org。不了解這個重要區別可能會導致SEO犯錯誤，例如主動阻止URL或從舊域名索引中刪除URL，導致阻止諸如PageRank等信號的傳遞。我見過很多域名遷移的案例，人們認為他們在遷移過程出了問題，因為這些頁面仍然顯示site:old-domain.com搜索，然后嘗試“修復”問題導致損害了網站。更好的檢查索引的方法是使用Google Search Console中的索引覆蓋率報告，或針對單個URL使用URL檢查工具。這些工具會告訴你某個頁面是否已編入索引，并提供有關Google如何處理該頁面的附加信息。如果你無權訪問此內容，只需在Google中搜索你頁面的完整URL即可。
在Ahrefs，SEMrush等工具查找“熱門頁面”報告或自然關鍵字排名中找到該頁面，通常意味著我們看到它在正常搜索查詢中排名，并且很好地表明該頁面已被索引。請注意，當我們看到這些頁面時，它們已被索引，但此時這個頁面可能已經改變了。如果特定URL存在問題并且需要從索引中刪除，請按照本文開頭的流程圖查找正確的刪除方法，然后跳轉到下面的相應部分。
刪除方法?1：刪除內容
如果你刪除頁面并提供404（未找到）或410（消失）狀態代碼，則在重新抓取頁面后不久，該頁面將從索引中刪除。在刪除之前，該頁面可能仍會顯示在搜索結果中。即使頁面本身不再可用，頁面的緩存版本也可能暫時可用。
- 我需要該頁面可供用戶使用。?查看noindex或限制訪問部分是否適合你的情況。
刪除方法?2：Noindex
Noindex?Robots?meta標記或X-Robots-Tag標頭可以告訴搜索引擎從索引中刪除頁面。Noindex?Robots?meta標記適用于頁面，而X-Robots-Tag標頭適用于頁面和其他文件類型（例如PDF）。為了讓這些標簽可見，搜索引擎需要能夠抓取頁面，因此請確保它們沒有在robots.txt中被阻止。另請注意，從索引中刪除頁面可能會阻止鏈接等其他信號的合并。Noindex?Robots?meta標記的示例：
<meta name="robots" content="noindex">
Noindex?X-Robots-Tag標頭中的示例：
HTTP/1.1 200 OKX-Robots-Tag: noindex
關于Robots?meta標記或X-Robots-Tag標頭的介紹和用法，請查看：https://developers.google.com/search/docs/crawling-indexing/robots-meta-tag?hl=zh-cn
刪除方法?3：限制訪問
如果你希望某些用戶可以訪問該頁面，但搜索引擎不能訪問該頁面，那么你可能需要以下三個方式之一：
這種類型的設置最適合內部網絡、僅限會員的內容或暫存、測試或開發站點等內容。它允許一組用戶訪問該頁面，但搜索引擎無法訪問，也不會索引這些頁面。我需要立即移除。?請參閱URL刪除工具部分。在這種特殊情況下，如果你嘗試隱藏的內容已被緩存，并且你需要防止用戶看到該內容，你可能需要立即刪除。
刪除方法?4：URL刪除工具
谷歌給這個工具的名字有點誤導，因為它的工作方式是暫時隱藏內容。Google仍會看到并抓取這些內容，但這些頁面不會向用戶顯示。這種臨時效果在Google中持續六個月，而Bin 有一個類似的工具可以持續三個月。這些工具應該在最極端的情況下使用，例如安全問題、數據泄露、個人身份信息 (PII) 等。對于Google，請使用刪除工具；對于Bing，請參閱如何阻止URL部分。除此之外你仍然需要使用另一種方法使實際頁面刪除更長時間（不索引或刪除）或阻止用戶訪問內容（如果他們仍然擁有鏈接）（刪除或限制訪問）。這只是為你提供了一種更快的隱藏頁面的方法，同時有時間進行刪除操作。
刪除方法?5：規范化
當你擁有頁面的多個版本并希望將鏈接等信號合并到單個版本時，你需要做的是某種形式的規范化。這主要是為了防止重復內容?，同時將頁面的多個版本合并到單個索引URL。
- 規范標簽。指定另一個URL作為規范版本或你想要顯示的版本。如果頁面重復或非常相似，這應該沒問題。當頁面差異太大時，規范化標簽可能會被忽略，因為它是提示而不是指令。
-
重定向。重定向將用戶和搜索機器人從一個頁面轉移到另一個頁面。301是SEO最常用的重定向，它告訴搜索引擎你希望哪個URL成為搜索結果中顯示的URL以及信號整合的到哪個URL。302或臨時重定向告訴搜索引擎你希望原始URL保留在索引中并在那里鞏固信號。
如何確定URL刪除的優先順序
如果你有多個頁面需要從Google索引中刪除，那么應該對它們進行相應的優先級排序。最高優先級：這些頁面通常與安全相關或與機密數據相關。包括包含個人數據 (PII)、客戶數據或專有信息的內容。中等優先級：這通常涉及針對特定用戶組的內容。公司內部網或員工門戶、僅供會員使用的內容以及暫存、測試或開發環境。低優先級：這些頁面通常涉及?某種重復內容。包括從多個URL提供的頁面、帶有參數的URL，并且還可能包括暫存、測試或開發環境。
要避免的常見錯誤
我想介紹一些我通常看到的錯誤刪除方法以及每種情況下會發生什么，以幫助人們理解為什么你的設置不起作用。
robots.txt中設置noindex
雖然Google曾經在robots.txt中非正式地支持noindex，但它從來都不是官方標準，現在他們已經正式刪除了關于這項的支持。許多網站這樣做都是錯誤的。
阻止在robots.txt中抓取
爬網與索引不同。即使某個頁面屏蔽Google抓取，只要你這個頁面有任何內部或外部鏈接，Google仍然可以對這個頁面建立索引。當然谷歌不知道頁面上有什么，因為他們不會抓取到頁面里的內容，Google只是知道這個頁面存在，甚至會根據頁面鏈接的錨文本等信號編寫標題以顯示在搜索結果中。
Nofollow
大家通常會把Nofollow與Noindex混淆，有些人會在頁面上使用它，希望頁面不會被索引。Nofollow是一個提示，雖然它過去阻止了頁面上的鏈接以及帶有nofollow屬性的單個鏈接的爬行，但現在情況已不再如此。如果谷歌愿意的話，現在可以抓取這些鏈接。Nofollow還被用于單個鏈接，阻止Google對特定頁面進行權重傳遞。同樣，這不再有效，因為Nofollow是一個提示。請注意，你可以使用Ahrefs，SEMrush等工具進行nofollow查找。由于nofollow頁面上的所有鏈接幾乎沒有意義，因此結果數應該為零或接近于零。如果有匹配結果，我強烈建議你檢查是否意外添加了nofollow指令來代替noindex，并在需要時選擇更合適的刪除方法。
Noindex?& 規范化另一個URL
這倆信號是相互矛盾的。Noindex表示從索引中刪除該頁面，規范化表示另一個頁面是應該索引的版本。這可能有助于整合頁面，因為谷歌通常會選擇忽略noindex，而是使用規范化作為主要信號。然而，這并不是一種絕對的行為。如果是這種情況，頁面將無法正確整合。請注意，你可以使用工具找到具有非自引用規范的無索引頁面，選擇更合適的刪除方法。
如果這是你的內容但不在你擁有的網站上怎么辦？
如果你擁有其他網站上使用的內容，你可以根據《數字千年版權法》(DMCA) 提出索賠。你可以使用Google 的版權刪除工具https://www.google.com/webmasters/tools/dmca-dashboard 執行所謂的DMCA刪除，即要求刪除任何受版權保護的材料。
如果內容與你有關但不在你擁有的網站上怎么辦？
如果你位于歐盟，根據法院關于被遺忘權的命令，你可以刪除包含你信息的內容。你可以使用歐盟隱私刪除表https://www.google.com/webmasters/tools/legal-removal-request?complaint_type=rtbf&hl=en請求刪除個人信息。
刪除圖片
要從Google中刪除圖像，最簡單的方法是使用robots.txt。
User-agent: Googlebot-ImageDisallow: /images/dogs.jpg
User-agent: Googlebot-ImageDisallow: /
最后
如何刪除URL取決于具體情況。我們已經討論了幾個方法，但如果你仍然困惑哪個適合你，請返回到開始時的流程圖。你還可以通過?Google 提供的法律問題排查工具來刪除內容。鏈接如下：https://support.google.com/legal/troubleshooter/1114905?hl=en
