前幾天，有朋友咨詢自己的網(wǎng)站內(nèi)容被惡意抓取，展示在別人的網(wǎng)站上，該怎么辦？今天我們就講一下如何從Google中刪除網(wǎng)址，從Google中刪除網(wǎng)址的方法有很多種，但沒(méi)有一種方法是萬(wàn)能的。這取決于你的當(dāng)前的情況。使用錯(cuò)誤的方法有時(shí)不僅會(huì)導(dǎo)致頁(yè)面未按預(yù)期從索引中刪除，而且可能對(duì)SEO產(chǎn)生負(fù)面影響。為了幫助你快速確定哪種刪除方法最適合你，我們制作了一個(gè)流程圖，以便你可以跳到你最需要的部分。
如何檢查URL是否已編入索引
我們通常檢查內(nèi)容是否被索引的做法是使用site:在Google中搜索。site:搜索可用于查看網(wǎng)站的頁(yè)面，但如果你的頁(yè)面顯示在搜索結(jié)果中，這也并不能說(shuō)明你的頁(yè)面被索引或沒(méi)有被索引。site:搜索可能只是顯示Google已知的頁(yè)面。并不意味著這些頁(yè)面有資格在其他搜索詞的SERP中參與排名。例如，site:搜索仍然可以顯示重定向或規(guī)范化到另一個(gè)頁(yè)面的頁(yè)面。當(dāng)你請(qǐng)求訪問(wèn)特定網(wǎng)站時(shí)，Google可能會(huì)顯示該域名下的頁(yè)面，以及其他域名下的內(nèi)容、標(biāo)題和說(shuō)明。以moz.com為例，它以前是seomoz.org。當(dāng)你查詢指向moz.com上的頁(yè)面時(shí)，會(huì)在SERP中顯示moz.com，而查詢site:seomoz.org將在SERP中顯示seomoz.org。不了解這個(gè)重要區(qū)別可能會(huì)導(dǎo)致SEO犯錯(cuò)誤，例如主動(dòng)阻止URL或從舊域名索引中刪除URL，導(dǎo)致阻止諸如PageRank等信號(hào)的傳遞。我見(jiàn)過(guò)很多域名遷移的案例，人們認(rèn)為他們?cè)谶w移過(guò)程出了問(wèn)題，因?yàn)檫@些頁(yè)面仍然顯示site:old-domain.com搜索，然后嘗試“修復(fù)”問(wèn)題導(dǎo)致損害了網(wǎng)站。更好的檢查索引的方法是使用Google Search Console中的索引覆蓋率報(bào)告，或針對(duì)單個(gè)URL使用URL檢查工具。這些工具會(huì)告訴你某個(gè)頁(yè)面是否已編入索引，并提供有關(guān)Google如何處理該頁(yè)面的附加信息。如果你無(wú)權(quán)訪問(wèn)此內(nèi)容，只需在Google中搜索你頁(yè)面的完整URL即可。
在Ahrefs，SEMrush等工具查找“熱門(mén)頁(yè)面”報(bào)告或自然關(guān)鍵字排名中找到該頁(yè)面，通常意味著我們看到它在正常搜索查詢中排名，并且很好地表明該頁(yè)面已被索引。請(qǐng)注意，當(dāng)我們看到這些頁(yè)面時(shí)，它們已被索引，但此時(shí)這個(gè)頁(yè)面可能已經(jīng)改變了。如果特定URL存在問(wèn)題并且需要從索引中刪除，請(qǐng)按照本文開(kāi)頭的流程圖查找正確的刪除方法，然后跳轉(zhuǎn)到下面的相應(yīng)部分。
刪除方法?1：刪除內(nèi)容
如果你刪除頁(yè)面并提供404（未找到）或410（消失）狀態(tài)代碼，則在重新抓取頁(yè)面后不久，該頁(yè)面將從索引中刪除。在刪除之前，該頁(yè)面可能仍會(huì)顯示在搜索結(jié)果中。即使頁(yè)面本身不再可用，頁(yè)面的緩存版本也可能暫時(shí)可用。
- 我需要立即刪除。?請(qǐng)參閱URL刪除工具部分。
- 我需要整合鏈接信號(hào)。?請(qǐng)參閱規(guī)范化部分。
- 我需要該頁(yè)面可供用戶使用。?查看noindex或限制訪問(wèn)部分是否適合你的情況。
刪除方法?2：Noindex
Noindex?Robots?meta標(biāo)記或X-Robots-Tag標(biāo)頭可以告訴搜索引擎從索引中刪除頁(yè)面。Noindex?Robots?meta標(biāo)記適用于頁(yè)面，而X-Robots-Tag標(biāo)頭適用于頁(yè)面和其他文件類型（例如PDF）。為了讓這些標(biāo)簽可見(jiàn)，搜索引擎需要能夠抓取頁(yè)面，因此請(qǐng)確保它們沒(méi)有在robots.txt中被阻止。另請(qǐng)注意，從索引中刪除頁(yè)面可能會(huì)阻止鏈接等其他信號(hào)的合并。Noindex?Robots?meta標(biāo)記的示例：
<meta name="robots" content="noindex">
Noindex?X-Robots-Tag標(biāo)頭中的示例：
HTTP/1.1 200 OKX-Robots-Tag: noindex
關(guān)于Robots?meta標(biāo)記或X-Robots-Tag標(biāo)頭的介紹和用法，請(qǐng)查看：https://developers.google.com/search/docs/crawling-indexing/robots-meta-tag?hl=zh-cn
- 我不希望用戶訪問(wèn)這些頁(yè)面。?請(qǐng)參閱限制訪問(wèn)部分。
- 我需要整合鏈接等信號(hào)。?請(qǐng)參閱規(guī)范化部分。
刪除方法?3：限制訪問(wèn)
如果你希望某些用戶可以訪問(wèn)該頁(yè)面，但搜索引擎不能訪問(wèn)該頁(yè)面，那么你可能需要以下三個(gè)方式之一：
- HTTP身份驗(yàn)證?（需要密碼才能訪問(wèn)）；
- IP白名單（僅允許特定IP地址訪問(wèn)頁(yè)面）
這種類型的設(shè)置最適合內(nèi)部網(wǎng)絡(luò)、僅限會(huì)員的內(nèi)容或暫存、測(cè)試或開(kāi)發(fā)站點(diǎn)等內(nèi)容。它允許一組用戶訪問(wèn)該頁(yè)面，但搜索引擎無(wú)法訪問(wèn)，也不會(huì)索引這些頁(yè)面。我需要立即移除。?請(qǐng)參閱URL刪除工具部分。在這種特殊情況下，如果你嘗試隱藏的內(nèi)容已被緩存，并且你需要防止用戶看到該內(nèi)容，你可能需要立即刪除。
刪除方法?4：URL刪除工具
谷歌給這個(gè)工具的名字有點(diǎn)誤導(dǎo)，因?yàn)樗墓ぷ鞣绞绞菚簳r(shí)隱藏內(nèi)容。Google仍會(huì)看到并抓取這些內(nèi)容，但這些頁(yè)面不會(huì)向用戶顯示。這種臨時(shí)效果在Google中持續(xù)六個(gè)月，而B(niǎo)in 有一個(gè)類似的工具可以持續(xù)三個(gè)月。這些工具應(yīng)該在最極端的情況下使用，例如安全問(wèn)題、數(shù)據(jù)泄露、個(gè)人身份信息 (PII) 等。對(duì)于Google，請(qǐng)使用刪除工具；對(duì)于Bing，請(qǐng)參閱如何阻止URL部分。除此之外你仍然需要使用另一種方法使實(shí)際頁(yè)面刪除更長(zhǎng)時(shí)間（不索引或刪除）或阻止用戶訪問(wèn)內(nèi)容（如果他們?nèi)匀粨碛墟溄樱▌h除或限制訪問(wèn)）。這只是為你提供了一種更快的隱藏頁(yè)面的方法，同時(shí)有時(shí)間進(jìn)行刪除操作。
刪除方法?5：規(guī)范化
當(dāng)你擁有頁(yè)面的多個(gè)版本并希望將鏈接等信號(hào)合并到單個(gè)版本時(shí)，你需要做的是某種形式的規(guī)范化。這主要是為了防止重復(fù)內(nèi)容?，同時(shí)將頁(yè)面的多個(gè)版本合并到單個(gè)索引URL。
- 規(guī)范標(biāo)簽。指定另一個(gè)URL作為規(guī)范版本或你想要顯示的版本。如果頁(yè)面重復(fù)或非常相似，這應(yīng)該沒(méi)問(wèn)題。當(dāng)頁(yè)面差異太大時(shí)，規(guī)范化標(biāo)簽可能會(huì)被忽略，因?yàn)樗翘崾径皇侵噶睢?/span>
-
重定向。重定向?qū)⒂脩艉退阉鳈C(jī)器人從一個(gè)頁(yè)面轉(zhuǎn)移到另一個(gè)頁(yè)面。301是SEO最常用的重定向，它告訴搜索引擎你希望哪個(gè)URL成為搜索結(jié)果中顯示的URL以及信號(hào)整合的到哪個(gè)URL。302或臨時(shí)重定向告訴搜索引擎你希望原始URL保留在索引中并在那里鞏固信號(hào)。
如何確定URL刪除的優(yōu)先順序
如果你有多個(gè)頁(yè)面需要從Google索引中刪除，那么應(yīng)該對(duì)它們進(jìn)行相應(yīng)的優(yōu)先級(jí)排序。最高優(yōu)先級(jí)：這些頁(yè)面通常與安全相關(guān)或與機(jī)密數(shù)據(jù)相關(guān)。包括包含個(gè)人數(shù)據(jù) (PII)、客戶數(shù)據(jù)或?qū)Ｓ行畔⒌膬?nèi)容。中等優(yōu)先級(jí)：這通常涉及針對(duì)特定用戶組的內(nèi)容。公司內(nèi)部網(wǎng)或員工門(mén)戶、僅供會(huì)員使用的內(nèi)容以及暫存、測(cè)試或開(kāi)發(fā)環(huán)境。低優(yōu)先級(jí)：這些頁(yè)面通常涉及?某種重復(fù)內(nèi)容。包括從多個(gè)URL提供的頁(yè)面、帶有參數(shù)的URL，并且還可能包括暫存、測(cè)試或開(kāi)發(fā)環(huán)境。
要避免的常見(jiàn)錯(cuò)誤
我想介紹一些我通常看到的錯(cuò)誤刪除方法以及每種情況下會(huì)發(fā)生什么，以幫助人們理解為什么你的設(shè)置不起作用。
robots.txt中設(shè)置noindex
雖然Google曾經(jīng)在robots.txt中非正式地支持noindex，但它從來(lái)都不是官方標(biāo)準(zhǔn)，現(xiàn)在他們已經(jīng)正式刪除了關(guān)于這項(xiàng)的支持。許多網(wǎng)站這樣做都是錯(cuò)誤的。
阻止在robots.txt中抓取
爬網(wǎng)與索引不同。即使某個(gè)頁(yè)面屏蔽Google抓取，只要你這個(gè)頁(yè)面有任何內(nèi)部或外部鏈接，Google仍然可以對(duì)這個(gè)頁(yè)面建立索引。當(dāng)然谷歌不知道頁(yè)面上有什么，因?yàn)樗麄儾粫?huì)抓取到頁(yè)面里的內(nèi)容，Google只是知道這個(gè)頁(yè)面存在，甚至?xí)鶕?jù)頁(yè)面鏈接的錨文本等信號(hào)編寫(xiě)標(biāo)題以顯示在搜索結(jié)果中。
Nofollow
大家通常會(huì)把Nofollow與Noindex混淆，有些人會(huì)在頁(yè)面上使用它，希望頁(yè)面不會(huì)被索引。Nofollow是一個(gè)提示，雖然它過(guò)去阻止了頁(yè)面上的鏈接以及帶有nofollow屬性的單個(gè)鏈接的爬行，但現(xiàn)在情況已不再如此。如果谷歌愿意的話，現(xiàn)在可以抓取這些鏈接。Nofollow還被用于單個(gè)鏈接，阻止Google對(duì)特定頁(yè)面進(jìn)行權(quán)重傳遞。同樣，這不再有效，因?yàn)?/span>Nofollow是一個(gè)提示。請(qǐng)注意，你可以使用Ahrefs，SEMrush等工具進(jìn)行nofollow查找。由于nofollow頁(yè)面上的所有鏈接幾乎沒(méi)有意義，因此結(jié)果數(shù)應(yīng)該為零或接近于零。如果有匹配結(jié)果，我強(qiáng)烈建議你檢查是否意外添加了nofollow指令來(lái)代替noindex，并在需要時(shí)選擇更合適的刪除方法。
Noindex?& 規(guī)范化另一個(gè)URL
這倆信號(hào)是相互矛盾的。Noindex表示從索引中刪除該頁(yè)面，規(guī)范化表示另一個(gè)頁(yè)面是應(yīng)該索引的版本。這可能有助于整合頁(yè)面，因?yàn)楣雀柰ǔ?huì)選擇忽略noindex，而是使用規(guī)范化作為主要信號(hào)。然而，這并不是一種絕對(duì)的行為。如果是這種情況，頁(yè)面將無(wú)法正確整合。請(qǐng)注意，你可以使用工具找到具有非自引用規(guī)范的無(wú)索引頁(yè)面，選擇更合適的刪除方法。
如果這是你的內(nèi)容但不在你擁有的網(wǎng)站上怎么辦？
如果你擁有其他網(wǎng)站上使用的內(nèi)容，你可以根據(jù)《數(shù)字千年版權(quán)法》(DMCA) 提出索賠。你可以使用Google 的版權(quán)刪除工具h(yuǎn)ttps://www.google.com/webmasters/tools/dmca-dashboard 執(zhí)行所謂的DMCA刪除，即要求刪除任何受版權(quán)保護(hù)的材料。
如果內(nèi)容與你有關(guān)但不在你擁有的網(wǎng)站上怎么辦？
如果你位于歐盟，根據(jù)法院關(guān)于被遺忘權(quán)的命令，你可以刪除包含你信息的內(nèi)容。你可以使用歐盟隱私刪除表https://www.google.com/webmasters/tools/legal-removal-request?complaint_type=rtbf&hl=en請(qǐng)求刪除個(gè)人信息。
刪除圖片
要從Google中刪除圖像，最簡(jiǎn)單的方法是使用robots.txt。
User-agent: Googlebot-ImageDisallow: /images/dogs.jpg
User-agent: Googlebot-ImageDisallow: /
最后
如何刪除URL取決于具體情況。我們已經(jīng)討論了幾個(gè)方法，但如果你仍然困惑哪個(gè)適合你，請(qǐng)返回到開(kāi)始時(shí)的流程圖。你還可以通過(guò)?Google 提供的法律問(wèn)題排查工具來(lái)刪除內(nèi)容。鏈接如下：https://support.google.com/legal/troubleshooter/1114905?hl=en
