Screaming Frog，讓你尖叫著提升效率

相比于人工檢查網站，“青蛙”的核心優勢在于：

??效率高：它可以快速抓取大量頁面，并自動分析數據，而人工檢查網站則需要耗費大量時間和精力；

??全面性：它可以檢測到人工檢查容易遺漏的網站問題，例如內鏈問題、代碼錯誤等；

??客觀性：它的分析結果是基于數據的，因此更加客觀、公正；

??可持續性：它可以定期自動檢測網站問題，幫助網站運營人員持續監控網站健康狀況。

【需求背景】

內鏈，是將用戶和搜索引擎爬蟲引導至網站上其它頁面的重要橋梁，因此對于網站的SEO非常重要。

?而404錯誤內鏈，會導致這個橋梁的中斷，因此我們必須定期去修復網站中的錯誤內鏈。

?然而，通過人工去一個頁面一個頁面的找，肯定是不太現實的，耗時耗力，效率太低。

拓展閱讀：《11個常見的內鏈錯誤》

【解決辦法】

通過查找被抓取頁面中，返回狀態碼為404的頁面，篩選出哪些頁面存在404錯誤內鏈，并快速定位這些錯誤內鏈所處頁面中的位置。

【需求背景】

Javascript 可以讓用戶跟網站的交互非常豐富，提升用戶體驗。因此，對于如今的網站而言，Javascript 的應用非常普遍。

但是，對于搜索引擎爬蟲而言，重要的內容（例如內鏈，文字），如果是通過Javascript來動態生成的話，會使得搜索引擎對頁面的快速加載及完整渲染產生問題，從而導致頁面排名不佳的后果。

【解決辦法】

通過在“青蛙”的設置中，啟用Javascript渲染功能，來對比啟用該功能前后的文字內容結果差異，來快速判斷自己的網站是否有嚴重的Javascript渲染問題，從而確定網站Javascript SEO優化的優先級。

《如何判斷網站JS代碼是否影響SEO表現》視頻詳解：

【需求背景】

如果你的網站是自建站，而不是使用常見的CMS平臺（例如Wordpress或Shopify）的話，就很有可能要定期手動生成Sitemap文件。

市面上的確有很多的XML Sitemap生成工具，但是要做到自動、定期且免費生成的話，可能是沒有的。

【解決辦法】

通過使用“青蛙”的“定期執行”功能，就可以設置工具在后臺定期運行并生成XML Sitemap（同時包括圖片Sitemap）。

《如何定期自動生成網站地圖》視頻詳解：

使用“青蛙”來做競品分析

【需求背景】

通過分析核心競品的網站架構，我們能夠快速的梳理出，自己的網站和競品的網站在內容版塊上的差距，以及競品的內容策略（在哪個版塊上投入內容資源多）。

從而有的放矢，完善自己網站的內容營銷策略。

【解決辦法】

通過使用“青蛙”的“可視化”功能，選擇不同的展示方式（樹型結構展示和目錄型結構展示），就能將“青蛙”抓取到的網站頁面信息，以更加結構化、形象化的方式展示出來。

總的來說，“樹形結構”方便我們快速了解競品網站的“邏輯結構”，競品最看重的頁面是哪些（最短路徑）。

而“目錄型結構”，方便我們快速了解競品網站的“物理結構”，競品在內容分類上的規劃是怎么樣的，競品重點投入的內容類型是什么，從而讓我們去補足自身網站缺失的內容部分。

【需求背景】

當我們發現競品在某個特殊模塊下（子域名或子文件夾），其內容特別多的話，就值得我們去深入分析一下。

如果競品網站體量很大，我們并不想浪費時間抓取和篩選非必要頁面時，就需要限定“青蛙”的抓取范圍。

【解決辦法】

通過在“青蛙”的抓取配置中限制URL規則，就可以實現只抓取感興趣的網站頁面類型。

《如何僅抓取子文件夾下的頁面》視頻詳解：

【需求背景】

當我們需要分析競品網站上特定位置的信息（例如產品信息，價格），來輔助優化自己的網站，或是輔助決策時，很難在市面上找到一款工具能做到，因為每個人想要抓取內容的場景非常不一樣，定制化程度非常高，所以沒有一款標準化產品能解決類似需求。

【解決辦法】

通過使用“青蛙”的“Custom Extraction”功能，在抓取規則中，填入競品頁面中想要抓取內容位置的Xpath路徑，來達到批量抓取同類型頁面指定位置內容的目的。

《如何批量抓取頁面指定內容》視頻詳解：

【需求背景】

當我們想查看某網站上是否存在某Affiliate平臺的鏈接，或者是查找是否存在為自己的某個關鍵詞建設外鏈的機會，都可以通過搜索這個網站上，是否存在某個特定的文字來解決類似問題。

【解決辦法】

通過利用“青蛙”的“Custom Search”功能，我們可以自定義想在網站中查找的內容。

它不僅可以在頁面中搜索文本，還能在HTML代碼中搜索代碼片段（例如鏈接地址）。

《如何批量搜索頁面指定內容》視頻詳解：