Screaming Frog，讓你尖叫著提升效率

相比于人工檢查網(wǎng)站，“青蛙”的核心優(yōu)勢在于：

??效率高：它可以快速抓取大量頁面，并自動分析數(shù)據(jù)，而人工檢查網(wǎng)站則需要耗費(fèi)大量時間和精力；

??全面性：它可以檢測到人工檢查容易遺漏的網(wǎng)站問題，例如內(nèi)鏈問題、代碼錯誤等；

??客觀性：它的分析結(jié)果是基于數(shù)據(jù)的，因此更加客觀、公正；

??可持續(xù)性：它可以定期自動檢測網(wǎng)站問題，幫助網(wǎng)站運(yùn)營人員持續(xù)監(jiān)控網(wǎng)站健康狀況。

【需求背景】

內(nèi)鏈，是將用戶和搜索引擎爬蟲引導(dǎo)至網(wǎng)站上其它頁面的重要橋梁，因此對于網(wǎng)站的SEO非常重要。

?而404錯誤內(nèi)鏈，會導(dǎo)致這個橋梁的中斷，因此我們必須定期去修復(fù)網(wǎng)站中的錯誤內(nèi)鏈。

?然而，通過人工去一個頁面一個頁面的找，肯定是不太現(xiàn)實(shí)的，耗時耗力，效率太低。

拓展閱讀：《11個常見的內(nèi)鏈錯誤》

【解決辦法】

通過查找被抓取頁面中，返回狀態(tài)碼為404的頁面，篩選出哪些頁面存在404錯誤內(nèi)鏈，并快速定位這些錯誤內(nèi)鏈所處頁面中的位置。

【需求背景】

Javascript 可以讓用戶跟網(wǎng)站的交互非常豐富，提升用戶體驗(yàn)。因此，對于如今的網(wǎng)站而言，Javascript 的應(yīng)用非常普遍。

但是，對于搜索引擎爬蟲而言，重要的內(nèi)容（例如內(nèi)鏈，文字），如果是通過Javascript來動態(tài)生成的話，會使得搜索引擎對頁面的快速加載及完整渲染產(chǎn)生問題，從而導(dǎo)致頁面排名不佳的后果。

【解決辦法】

通過在“青蛙”的設(shè)置中，啟用Javascript渲染功能，來對比啟用該功能前后的文字內(nèi)容結(jié)果差異，來快速判斷自己的網(wǎng)站是否有嚴(yán)重的Javascript渲染問題，從而確定網(wǎng)站Javascript SEO優(yōu)化的優(yōu)先級。

《如何判斷網(wǎng)站JS代碼是否影響SEO表現(xiàn)》視頻詳解：

【需求背景】

如果你的網(wǎng)站是自建站，而不是使用常見的CMS平臺（例如Wordpress或Shopify）的話，就很有可能要定期手動生成Sitemap文件。

市面上的確有很多的XML Sitemap生成工具，但是要做到自動、定期且免費(fèi)生成的話，可能是沒有的。

【解決辦法】

通過使用“青蛙”的“定期執(zhí)行”功能，就可以設(shè)置工具在后臺定期運(yùn)行并生成XML Sitemap（同時包括圖片Sitemap）。

《如何定期自動生成網(wǎng)站地圖》視頻詳解：

使用“青蛙”來做競品分析

【需求背景】

通過分析核心競品的網(wǎng)站架構(gòu)，我們能夠快速的梳理出，自己的網(wǎng)站和競品的網(wǎng)站在內(nèi)容版塊上的差距，以及競品的內(nèi)容策略（在哪個版塊上投入內(nèi)容資源多）。

從而有的放矢，完善自己網(wǎng)站的內(nèi)容營銷策略。

【解決辦法】

通過使用“青蛙”的“可視化”功能，選擇不同的展示方式（樹型結(jié)構(gòu)展示和目錄型結(jié)構(gòu)展示），就能將“青蛙”抓取到的網(wǎng)站頁面信息，以更加結(jié)構(gòu)化、形象化的方式展示出來。

總的來說，“樹形結(jié)構(gòu)”方便我們快速了解競品網(wǎng)站的“邏輯結(jié)構(gòu)”，競品最看重的頁面是哪些（最短路徑）。

而“目錄型結(jié)構(gòu)”，方便我們快速了解競品網(wǎng)站的“物理結(jié)構(gòu)”，競品在內(nèi)容分類上的規(guī)劃是怎么樣的，競品重點(diǎn)投入的內(nèi)容類型是什么，從而讓我們?nèi)パa(bǔ)足自身網(wǎng)站缺失的內(nèi)容部分。

【需求背景】

當(dāng)我們發(fā)現(xiàn)競品在某個特殊模塊下（子域名或子文件夾），其內(nèi)容特別多的話，就值得我們?nèi)ド钊敕治鲆幌隆?/span>

如果競品網(wǎng)站體量很大，我們并不想浪費(fèi)時間抓取和篩選非必要頁面時，就需要限定“青蛙”的抓取范圍。

【解決辦法】

通過在“青蛙”的抓取配置中限制URL規(guī)則，就可以實(shí)現(xiàn)只抓取感興趣的網(wǎng)站頁面類型。

《如何僅抓取子文件夾下的頁面》視頻詳解：

【需求背景】

當(dāng)我們需要分析競品網(wǎng)站上特定位置的信息（例如產(chǎn)品信息，價格），來輔助優(yōu)化自己的網(wǎng)站，或是輔助決策時，很難在市面上找到一款工具能做到，因?yàn)槊總€人想要抓取內(nèi)容的場景非常不一樣，定制化程度非常高，所以沒有一款標(biāo)準(zhǔn)化產(chǎn)品能解決類似需求。

【解決辦法】

通過使用“青蛙”的“Custom Extraction”功能，在抓取規(guī)則中，填入競品頁面中想要抓取內(nèi)容位置的Xpath路徑，來達(dá)到批量抓取同類型頁面指定位置內(nèi)容的目的。

《如何批量抓取頁面指定內(nèi)容》視頻詳解：

【需求背景】

當(dāng)我們想查看某網(wǎng)站上是否存在某Affiliate平臺的鏈接，或者是查找是否存在為自己的某個關(guān)鍵詞建設(shè)外鏈的機(jī)會，都可以通過搜索這個網(wǎng)站上，是否存在某個特定的文字來解決類似問題。

【解決辦法】

通過利用“青蛙”的“Custom Search”功能，我們可以自定義想在網(wǎng)站中查找的內(nèi)容。

它不僅可以在頁面中搜索文本，還能在HTML代碼中搜索代碼片段（例如鏈接地址）。

《如何批量搜索頁面指定內(nèi)容》視頻詳解：