谷歌建議使用500, 503, 429進行速率限制（附11類https狀態碼列表大全）

2023年2月谷歌更新發布說明：當你需要限制客戶端請求某個服務的數量，也就是限制Googlebot請求速度時，谷歌建議網站所有者和一些內容分發網絡 (CDN)使用500, 503, 429進行速率限制不要使用 403或404來嘗試降低Googlebot的抓取速度。403, 404, 410, 418提示為客服端錯誤，而非服務器錯誤，而只有429是提示服務器錯誤，告知googlebot服務器超載了需要降低下抓取速度。

HTTP（HyperText Transfer Protocol ）狀態碼解釋：

• 501 （尚未實施）： 服務器不具備完成請求的功能。例如，服務器無法識別請求方法時可能會返回此代碼。

• 503 （服務不可用）： 服務器目前無法使用（由于超載或停機維護）。通常，這只是暫時狀態。

• 403 （禁止）：服務器拒絕請求。

• 404 （未找到）：服務器找不到請求的網頁。

• 410（已刪除） : 如果請求的資源已永久刪除,服務器就會返回此響應。

• 418：當客戶端給一個茶壺發送泡咖啡的請求時，茶壺就返回一個418錯誤狀態碼，表示“我是一個茶壺”。

• 429 (太多請求): 當你需要限制客戶端請求某個服務的數量，也就是限制請求速度時，該狀態碼就會非常有用

當Googlebot抓取速度過快時，可以使用下面兩個方法降低谷歌的抓取速度：

1.使用 Search Console 暫時降低抓取速度, 谷歌需要幾天時間反應過來。

2.當 Googlebot 抓取速度過快時， 將500、503或429HTTP 狀態代碼返回給它。當 Googlebot 遇到大量帶有500、503或429 HTTP響應狀態代碼的網址時（例如，如果您 禁用了您的網站），它會降低您網站的抓取速度。

? ??

11類HTT狀態碼（HTTP Status Code）列表大全：

• 1xxs – 信息響應：請求已收到，請求者應當繼續提出請求。服務器返回此代碼表示已收到請求的第一部分，正在等待其余部分。

• 2xxs - 請求被成功接收、理解和接受, 請求已成功完成，服務器向瀏覽器提供了預期的響應。

• 3xxs – 重定向：您被重定向到其他地方。已收到請求，但存在某種重定向。

• 4xxs – 客戶端錯誤：找不到頁面。請求包含錯誤語法或無法完成，無法訪問網站或頁面。

• 5xxs – 服務器錯誤：失敗。客戶端發出了有效請求，但服務器無法完成明顯有效的請求。

一、1xx 信息響應

表示臨時響應并需要請求者繼續執行操作的狀態代碼。

• 100 - 繼續，服務器已收到請求標頭，客戶端應繼續發送請求正文（在需要發送正文的請求的情況下；例如，POST 請求）。

• 101 - 交換協議，請求者已要求服務器切換協議并且服務器已同意這樣做。

• 102 - 處理（WebDAV；RFC 2518），一個WebDAV請求可能包含很多涉及文件操作的子請求，需要很長時間才能完成請求。（此狀態代碼已棄用）

• 103 - 早期提示 (RFC 8297) ，用于在最終 HTTP 消息之前返回一些響應標頭。

二、2xx 成功

此類狀態代碼表示客戶端請求的操作已被接收、理解和接受。

• 200 - 好，成功 HTTP 請求的標準響應。

• 201?- 創建，請求已完成，導致創建新資源

• 202?- 已接受，已接受請求進行處理，但處理尚未完成。該請求最終可能會或可能不會被執行，并且在處理發生時可能會被拒絕。

• 203?- 非權威信息（自 HTTP/1.1 起），服務器是一個轉換代理（例如Web 加速器），它從其來源接收到 200 OK，但返回來源響應的修改版本。

• 204?- 無內容，服務器成功處理了請求，沒有返回任何內容。

• 205?-?重置內容，服務器成功處理了請求，要求請求者重置其文檔視圖，并且不返回任何內容。

• 206?- 部分內容，由于客戶端發送的范圍標頭，服務器僅提供部分資源（字節服務）。HTTP 客戶端使用范圍標頭來恢復中斷的下載，或將下載拆分為多個同步流。

• 207?- 多狀態（WebDAV；RFC 4918），- 緊隨其后的消息體默認是一個XML消息，并且可以包含許多單獨的響應代碼。

• 208?- 已報告（WebDAV；RFC 5842），DAV 綁定的成員已在（多狀態）響應的前面部分中被枚舉，并且不再被包括在內。

• 226 - IM 使用 (RFC 3229)，服務器已完成對資源的請求，并且響應表示應用于當前實例的一個或多個實例操作的結果。

三、3xx 重定向

此類狀態代碼表示客戶端必須采取其他操作才能完成請求。其中許多狀態代碼用于URL 重定向。

300 - 多項選擇，指示客戶端可以從中選擇的資源的多個選項。例如，此代碼可用于呈現多個視頻格式選項、列出具有不同文件擴展名的文件。

301?- 永久移動，這個請求和所有未來的請求都應該指向給定的URI。

302?- 暫時移動，告訴客戶端查看（瀏覽）另一個 URL。

303?- 查看其他（自 HTTP/1.1 起），可以使用 GET 方法在另一個URI下找到對請求的響應。

304?- 未修改，指示資源自請求標頭If-Modified-Since 或 If-None-Match指定的版本以來未被修改。

305- 使用代理（自 HTTP/1.1 起），請求的資源只能通過代理使用，其地址在響應中提供。（出于安全原因，許多 HTTP 客戶端（例如Mozilla Firefox和Internet Explorer）不遵守此狀態代碼。）

306?- 切換代理，不再使用。最初的意思是“后續請求應該使用指定的代理”。

307?- 臨時重定向（自 HTTP/1.1 起），在這種情況下，應該使用另一個 URI 重復請求；但是，未來的請求仍應使用原始 URI。與歷史上 302 的實現方式不同，重新發出原始請求時不允許更改請求方法。例如，應使用另一個 POST 請求重復 POST 請求。

308?-?永久重定向，這個請求和所有未來的請求都應該指向給定的URI。308 與 301 的行為相似，但不允許更改 HTTP 方法。

四、4xx 客戶端錯誤

此類狀態代碼適用于似乎是由客戶端引起的錯誤情況。除了響應 HEAD 請求時，服務器應該包含一個實體，其中包含對錯誤情況的解釋，以及它是臨時的還是永久的。這些狀態代碼適用于任何請求方法。用戶代理應該向用戶顯示任何包含的實體。

? ? ? ? ?

400?- 錯誤請求，服務器不理解請求的語法。例如，格式錯誤的請求語法、大小太大、無效的請求消息框架或欺騙性請求路由，服務器不能或不會處理該請求。

401?-未授權，請求要求身份驗證。對于需要登錄的網頁，服務器可能返回此響應。

響應必須包含一個 WWW-Authenticate 頭字段，其中包含適用于所請求資源的質詢。請參閱基本訪問身份驗證和摘要訪問身份驗證。

當網站禁止IP 地址（通常是網站域）并且該特定地址被拒絕訪問網站時，某些網站會錯誤地發出 HTTP 401。

402?- 需要付款，保留以供將來使用。最初的意圖是此代碼可能用作某種形式的數字現金或小額支付方案的一部分，例如GNU Taler 所提議的，但這尚未發生，并且此代碼未被廣泛使用。

如果特定開發人員超過每日請求限制，Google Developers API 將使用此狀態。

如果帳戶沒有足夠的資金來發起呼叫，Sipgate將使用此代碼。

Shopify在商店未支付費用并暫時停用時使用此代碼。

條紋將此代碼用于參數正確的失敗付款，例如阻止欺詐性付款。

403?- 禁止訪問，該請求包含有效數據并被服務器理解，但服務器拒絕執行操作。

可能是由于用戶沒有資源的必要權限或需要某種帳戶，或試圖執行禁止的操作（例如，在只允許一個記錄的情況下創建重復記錄）。如果請求通過回答 WWW-Authenticate 標頭字段質詢來提供身份驗證，但服務器不接受該身份驗證，則通常也會使用此代碼。

404?- 未找到，找不到請求的資源，但將來可能可用。客戶的后續請求是允許的。

405?- 方法不允許，請求的資源不支持請求方法；例如，對需要通過POST呈現數據的表單的 GET 請求，或對只讀資源的 PUT 請求。

406?- 不可接受，根據請求中發送的 Accept 標頭，請求的資源只能生成不可接受的內容。請參閱內容協商。

407?- 需要代理身份驗證，客戶端必須首先向代理驗證自己。

408?-?請求超時，服務器等待請求超時。根據 HTTP 規范：“客戶端在服務器準備等待的時間內沒有產生請求。客戶端可以在以后的任何時間不加修改地重復請求。”

409?- 沖突，表示由于資源的當前狀態存在沖突而無法處理請求，例如多個同時更新之間的編輯沖突。

410?- 沒了，表示請求的資源以前在使用中，但不再可用，也不會再次可用。當有意刪除資源并應清除資源時，應使用此方法。收到 410 狀態代碼后，客戶端以后不應再請求該資源。搜索引擎等客戶端應從其索引中刪除該資源。大多數用例不需要客戶端和搜索引擎清除資源，而是可以使用“404 Not Found”。

411?- 長度要求，請求沒有指定其內容的長度，這是請求的資源所要求的。

412?- 前置條件失敗，服務器不滿足請求者在請求標頭字段中設置的先決條件之一。

413?- 負載太大，請求大于服務器愿意或能夠處理的。以前在 RFC 2616 中稱為“請求實體太大”。[19]

414?- URI 太長，提供的URI太長，服務器無法處理。通常是將太多數據編碼為 GET 請求的查詢字符串的結果，在這種情況下，應將其轉換為 POST 請求。

415?- 不支持的媒體類型，請求實體具有服務器或資源不支持的媒體類型。例如，客戶端上傳圖像為image/svg+xml，但服務器要求圖像使用不同的格式。

416?- 范圍不可滿足，客戶端已請求文件的一部分（字節服務），但服務器無法提供該部分。例如，如果客戶端請求文件超出文件末尾的部分。在 RFC 2616 之前稱為“無法滿足的請求范圍”。

417?- 期待失敗，服務器無法滿足 Expect 請求頭字段的要求。

418?- 我是茶壺（RFC 2324、RFC 7168），當客戶端給一個茶壺發送泡咖啡的請求時，茶壺就返回一個418錯誤狀態碼，表示“我是一個茶壺”。

這段代碼在 1998 年被定義為傳統的IETF 愚人節笑話之一，在 RFC 2324，超文本咖啡壺控制協議中，預計不會被實際的 HTTP 服務器實現。RFC 指定此代碼應由請求沖泡咖啡的茶壺返回。

此 HTTP 狀態在某些網站中用作復活節彩蛋，例如Google.com 的“我是茶壺”復活節彩蛋。有時，此狀態代碼也用作對被阻止請求的響應，而不是更合適的 403 Forbidden。

421?- 錯誤的請求，請求指向無法產生響應的服務器（例如，由于連接重用）。

422?- 不可處理的實體，該請求格式正確，但由于語義錯誤而無法執行。

423?- 鎖定（WebDAV；RFC 4918），正在訪問的資源已鎖定。

424 - 依賴失敗（WebDAV；RFC 4918），請求失敗，因為它依賴于另一個請求，而那個請求失敗了（例如，一個 PROPPATCH）。

425?- 太早 (RFC 8470)，表示服務器不愿意冒險處理可能被重播的請求。

426 - 需要升級，客戶端應切換到升級標頭字段中給出的不同協議，例如TLS/1.3。

428?- 需要先決條件 (RFC 6585)，源服務器要求請求是有條件的。旨在防止“丟失更新”問題，客戶端獲取資源的狀態，修改它，并將其返回給服務器，同時第三方修改了服務器上的狀態，導致沖突。

429?- 請求過多 (RFC 6585)，用戶在給定時間內發送了太多請求。旨在與速率限制方案一起使用。當你需要限制客戶端請求某個服務的數量，也就是限制請求速度時，該狀態碼就會非常有用。

431?- 請求標頭字段太大 (RFC 6585)，服務器不愿意處理請求，因為單個標頭字段或所有標頭字段共同太大。[29]

451?- 因法律原因不可用(RFC 7725)，服務器操作員已收到拒絕訪問資源或包含所請求資源的一組資源的合法請求。

五、5xx 服務器錯誤

服務器未能完成請求。這些狀態代碼表示服務器在嘗試處理請求時發生內部錯誤。這些錯誤可能是服務器本身的錯誤，而不是請求出錯。

以數字“5”開頭的響應狀態代碼表示服務器知道它遇到錯誤或無法執行請求的情況。除了在響應 HEAD 請求時，服務器應該包含一個包含錯誤情況解釋的實體，并指出它是臨時的還是永久的。同樣，用戶代理應該向用戶顯示任何包含的實體。這些響應代碼適用于任何請求方法。

500?-?內部服務器錯誤，一般錯誤消息，在遇到意外情況且沒有更具體的消息適用時給出。

501?- 未實現，服務器要么無法識別請求方法，要么無法完成請求。通常這意味著未來的可用性（例如，網絡服務 API 的新功能）。

501?-?錯誤的網關，服務器充當網關或代理，并從上游服務器收到無效響應。

502?-?服務不可用，服務器無法處理請求（因為它超載或停機維護）。通常，這是一個臨時狀態。

503?-?網關超時，服務器充當網關或代理，沒有收到來自上游服務器的及時響應。

505?- 不支持 HTTP 版本，服務器不支持請求中使用的 HTTP 版本。

506?- 變體也協商 (RFC 2295)，請求的透明內容協商導致循環引用。

507?- 存儲空間不足（WebDAV；RFC 4918），服務器無法存儲完成請求所需的表示。

檢測到 508 循環（WebDAV；RFC 5842），服務器在處理請求時檢測到無限循環（發送而不是208 Already Reported）。

510?- 未擴展 (RFC 2774)，服務器需要對請求進行進一步擴展才能實現它。

需要 511 網絡身份驗證 (RFC 6585)

客戶端需要進行身份驗證才能獲得網絡訪問權限。旨在通過攔截用于控制網絡訪問的代理來使用（例如，“強制門戶”過去需要在通過Wi-Fi 熱點授予完全互聯網訪問權限之前需要同意服務條款）。

六、非官方代碼

以下代碼未由任何標準指定。

419?- 頁面已過期（Laravel 框架）

當 CSRF 令牌丟失或過期時，由 Laravel 框架使用。

420?- 方法失敗（Spring 框架）

當方法失敗時，Spring Framework 使用的已棄用響應。

430?- 請求標頭字段太大 ( Shopify )

當在特定時間范圍內請求過多 URL 時，由Shopify使用，而不是429 Too Many Requests響應代碼。

450?- 被Windows 家長控制阻止 (Microsoft)

當 Windows 家長控制打開并阻止訪問所請求的網頁時指示的 Microsoft 擴展代碼。

498?- 無效令牌 (Esri)

由ArcGIS for Server返回。代碼 498 表示令牌已過期或無效。

499?- 需要令牌 (Esri)

由ArcGIS for Server返回。代碼 499 表示需要令牌但未提交。

509 - 超出帶寬限制（Apache Web 服務器/ cPanel）

服務器已超過服務器管理員指定的帶寬；這通常被共享托管服務提供商用來限制客戶的帶寬。

529?- 站點超載

由Qualys在 SSLLabs 服務器測試 API 中使用，以發出站點無法處理請求的信號。

530?- 站點被凍結

由Pantheon Systems網絡平臺使用以指示因不活動而被凍結的站點。

598 -（非正式約定）網絡讀取超時錯誤

一些 HTTP 代理使用它來向代理前面的客戶端發送代理后面的網絡讀取超時信號。

599 -?網絡連接超時錯誤

某些 HTTP 代理使用的錯誤，用于向代理前面的客戶端發出代理后面的網絡連接超時信號。

七、互聯網信息服務

Microsoft 的Internet Information Services (IIS) Web 服務器擴展了 4xx 錯誤空間以指示客戶端請求的錯誤。

440?-?登錄超時，客戶端會話已過期，必須重新登錄。

449?- 重試，服務器無法接受請求，因為用戶沒有提供所需的信息。

451?-?重定向，當有更高效的服務器可用或服務器無法訪問用戶郵箱時，在Exchange ActiveSync中使用。客戶端應重新運行 HTTP 自動發現操作以找到更合適的服務器。

IIS 有時會使用額外的十進制子代碼來獲取更具體的信息，然而這些子代碼僅出現在響應負載和文檔中，而不是實際的 HTTP 狀態代碼。

八、Nginx

Nginx網絡服務器軟件擴展了 4xx 錯誤空間以指示客戶端請求的問題。

? ? ? ? ?

444?- 無響應，在內部使用指示服務器不向客戶端返回任何信息并立即關閉連接。

494?- 請求標頭太大，客戶端發送的請求太大或標題行太長。

495?- SSL證書錯誤

400?- Bad Request響應代碼的擴展，在客戶端提供了無效的客戶端證書時使用。可能是無效的請求消息框架，欺騙性的錯誤，或由于錯誤鍵入的 URL、格式錯誤的語法或包含非法字符的 URL 而發生的。這是非常容易出錯的，如果 URL 編碼不正確，就會發生這種情況

496?- 需要 SSL 證書

497?-?HTTP 請求發送到 HTTPS 端口

499?- 客戶端關閉請求，當客戶端在服務器可以發送響應之前關閉請求時使用。

九、Cloudflare

Cloudflare的反向代理服務擴展了 5xx 系列錯誤空間，以指示源服務器的問題。

? ? ? ? ?

520?- Web服務器返回未知錯誤，源服務器向 Cloudflare 返回了空的、未知的或意外的響應。[52]

521?- Web 服務器已關閉，源服務器拒絕來自 Cloudflare 的連接。源頭的安全解決方案可能會阻止來自某些 Cloudflare IP 地址的合法連接。

522 -?連接超時，Cloudflare 連接源服務器超時，Cloudflare 無法連接到原始服務器；例如，如果源服務器的DNS 記錄不正確或丟失。

524 - 發生超時，Cloudflare 能夠完成與源服務器的 TCP 連接，但沒有及時收到 HTTP 響應。

525 - SSL 握手失敗，Cloudflare 無法與源服務器協商SSL/TLS 握手。

526?- 無效的 SSL 證書，Cloudflare 無法驗證源 Web 服務器上的 SSL 證書。也被Cloud Foundry的 gorouter 使用。

527?- 軌道炮錯誤，錯誤 527 表示 Cloudflare 與源服務器的 Railgun 服務器之間的連接中斷。

530?-?返回錯誤，530 和 1xxx 錯誤。

十、AWS 彈性負載均衡器

Amazon的Elastic Load Balancing添加了一些自定義返回碼

460?-?在空閑超時期限結束之前，客戶端關閉了與負載平衡器的連接。通常當客戶端超時時間早于 Elastic Load Balancer 的超時時間時。

463?-?負載均衡器收到一個包含 30 多個 IP 地址的 X-Forwarded-For 請求標頭。

561?- 未經授權，注冊到負載均衡器的服務器返回的身份驗證錯誤。您配置了偵聽器規則來對用戶進行身份驗證，但身份提供者 (IdP) 在對用戶進行身份驗證時返回了錯誤代碼。

十一、緩存警告代碼（已廢棄）

以下緩存相關警告代碼在RFC 7234中指定。與上面的其他狀態代碼不同，這些代碼不是作為 HTTP 協議中的響應狀態發送的，而是作為“警告”HTTP 標頭的一部分發送的。

由于此“警告”標頭通常既不會由服務器發送，也不會被客戶端確認，因此 HTTP 工作組在 2022 年通過RFC 9111廢棄了此標頭及其代碼。

110 - 響應過時，緩存提供的響應是陳舊的（內容的年齡超過了 Cache-Control 標頭或啟發式選擇的生命周期設置的最大年齡）。

111- 重新驗證失敗，由于無法到達原始服務器，緩存無法驗證響應。

112?- 斷開操作，緩存有意與網絡的其余部分斷開連接。

113?- 啟發式過期，緩存試探性地選擇了大于 24 小時的新鮮度生命周期并且響應的年齡大于 24 小時。

199?- 雜項警告，任意的、非特定的警告。警告文本可以被記錄或呈現給用戶。

214?- 改造應用，如果代理對表示應用任何轉換，例如更改內容編碼、媒體類型等，則由代理添加。

? ? ? ? ??

HEY

萬物可愛