A/B 測試完整指南：來自 Google、HubSpot 等的專家提示

無論您是經驗豐富的企業家還是剛剛起步，您很有可能已經看過無數關于 A/B 測試的文章和資源。您甚至可能已經對您的電子郵件主題行或社交媒體帖子進行了 A/B 測試。

盡管在營銷領域有很多關于 A/B 測試的說法，但很多人仍然理解錯誤。結果？人們根據不當測試的不準確結果做出重大業務決策。

單擊此處立即開始使用 Shopify 在線銷售

A/B 測試通常過于簡單，尤其是在為店主編寫的內容中。您將在下面找到開始使用不同類型的電子商務 A/B 測試所需了解的所有信息，并盡可能通俗易懂地進行解釋。A/B 測試可以改變游戲規則，選擇正確的產品定位，增加登陸頁面的轉化率等等。

什么是 A/B 測試？

A/B 測試，有時稱為拆分測試，是比較同一網頁、電子郵件或其他數字資產的兩個版本，以確定哪個版本根據用戶行為表現更好的過程。它是一種有用的工具，可用于提高營銷活動的績效并更好地了解是什么改變了目標受眾。

此過程使您能夠回答重要的業務問題，幫助您從已有的流量中獲得更多收入，并為基于數據的營銷策略奠定基礎。

了解更多：如何為您的企業進行SWOT 分析

A/B 測試的工作原理

在營銷環境中使用 A/B 測試時，您向 50% 的訪問者展示您資產的版本 A（我們稱之為“控制”），以及 50% 的訪問者版本 B（我們稱之為“變體”）。

產生最高轉化率的版本獲勝。例如，假設變體（版本 B）產生了最高的轉化率。然后，您將宣布它為獲勝者并將 100% 的訪問者推向該變體。

然后，變體成為新的控件，您必須設計一個新的變體。

值得一提的是，A/B 測試轉化率通常是衡量成功的不完美指標。

例如，如果您在一個頁面上將一件商品定價為 50 美元，而在另一頁上它是完全免費的，那么這不會提供任何真正有價值的見解。與您在業務中使用的任何工具或策略一樣，它必須具有戰略意義。

這就是為什么您應該一直跟蹤轉化的價值直至最終銷售。

免費閱讀清單：初學者的轉換優化

參加轉化優化速成班，將更多網站訪問者轉變為客戶。在下面訪問我們免費的精選高影響力文章列表。

獲取免費閱讀清單

什么是 A/B/n 測試？

通過 A/B/n 測試，您可以針對控件測試多個變體。因此，您可以向 25% 的訪問者顯示控件、25% 的第一個變體、25% 的第二個變體和 25% 的第三個變體，而不是向 50% 的訪問者顯示控件和 50% 的訪問者變體。

注意：這與多變量測試不同，多變量測試也涉及多個變體。運行多變量測試時，您不僅要測試多個變體，還要測試多個元素，例如 A/B 測試 UX 或 SEO 拆分測試。目標是找出哪種組合效果最好。

您將需要大量流量來運行多變量測試，因此您現在可以忽略它們。

A/B 測試應該運行多長時間？

至少對一個（最好是兩個）完整的業務周期運行 A/B 測試。不要因為達到顯著性就停止測試。您還需要滿足預定的樣本量。最后，不要忘記以整周為增量運行所有測試。

為什么有兩個完整的商業周期？對于初學者：

1. 你可以考慮“我需要考慮一下”的買家。
2. 您可以考慮所有不同的流量來源（Facebook、電子郵件通訊、有機搜索等）
3. 您可以解釋異常情況。例如，您的周五電子郵件通訊。

兩個業務周期通常足以深入了解目標受眾的用戶行為。

如果您使用過任何類型的 A/B 測試著陸頁測試工具，您可能會熟悉綠色的“統計顯著性”小圖標。

不幸的是，對于許多人來說，這是“測試已經完成，稱之為測試”的通用標志。正如您將在下文中了解的更多信息，僅僅因為達到 A/B 測試統計顯著性并不意味著您應該停止測試。

你預定的樣本量？它并不像看起來那么嚇人。打開一個樣本量計算器，例如 Evan Miller 的這個計算器，在您的網頁中進行參考，以幫助提高您的轉化率。

這個計算表明，如果您當前的轉化率為 5%，并且您希望能夠檢測到 15% 的效果，則每個變體需要 13,533 個樣本。因此，如果是標準的 A/B 測試，總共需要超過 25,000 名訪問者。

如果您想檢測較小的效果，請觀察會發生什么：

唯一改變的是最小可檢測效應 (MDE)。它從 15% 減少到 8%。在這種情況下，每個變體需要 47,127 個樣本。因此，如果是標準的 A/B 測試，總共需要將近 100,000 名訪問者。

無論您是進行 A/B 測試 UX 還是 SEO 拆分測試，都應該在測試開始之前預先計算樣本量。即使達到顯著性，您的測試也不能停止，直到達到預定的樣本量。如果是，則測試無效。

這就是為什么您不能漫無目的地遵循最佳實踐，例如“在 100 次轉化后停止”。

對整周增量進行拆分測試也很重要。您的流量可能會根據星期幾和一天中的時間發生變化，因此您需要確保包括一周中的每一天。

為什么要進行 A/B 測試？

假設您在 Facebook 廣告上花費 100 美元，將 10 人發送到您的網站。您的平均訂單價值為 25 美元。這些游客中有八人什么都沒買就離開了，另外兩人每人花費了 25 美元。結果？你損失了 50 美元。

現在假設您在 Facebook 廣告上花費 100 美元，將 10 人發送到您的網站。您的平均訂單價值仍為 25 美元。不過這一次，只有五位訪客什么都沒買就離開了，另外五位每人花費了 25 美元。結果？你賺了 25 美元。

當然，這是更簡單的 A/B 測試示例之一。但是通過提高在線商店的轉化率，您可以使相同的流量變得更有價值。

A/B 測試圖像和副本還可以幫助您發現見解，無論您的測試是成功還是失敗。這個價值是非常可轉讓的。例如，來自 產品描述A/B 測試的文案見解可以幫助告知您的價值主張、產品視頻或其他產品描述。

您也不能忽視專注于不斷提高在線商店有效性的內在價值。

你應該進行 A/B 測試嗎？

不必要。如果您運行的是低流量站點或 Web 或移動應用程序，A/B 測試可能不是最適合您的優化方法。例如，您可能會通過進行用戶測試或與客戶交談獲得更高的投資回報 (ROI)。

盡管普遍認為，轉化率優化并不以測試開始和結束。

考慮上面樣本量計算器中的數字。如果您的基線轉化率為 5%，則每個變體 47,127 名訪問者檢測到 8% 的效果 。假設您要測試 產品頁面。它會在兩到四個星期內接待近 100,000 名訪客嗎？

為什么要兩到四個星期？請記住，我們希望對至少兩個完整的業務周期進行測試。通常，這需要兩到四個星期。現在您可能在想，“沒問題，我將運行測試超過兩到四個星期，以達到所需的樣本量。” 那也行不通。

測試運行的時間越長，它就越容易受到外部有效性威脅和樣本污染的影響。例如，訪問者可能會刪除他們的 cookie，并最終以新訪問者的身份重新進入 A/B 測試。或者有人可以從他們的手機切換到臺式機并查看替代變體。

從本質上講，讓測試運行時間過長與運行時間不夠長一樣糟糕。

對于能夠在兩到四個星期內滿足所需樣本量的商店，測試是值得投資的。不能做到這一點的商店應該考慮其他形式的優化，直到他們的流量增加。

Pinterest 的產品經理 Julia Starostenko 對此表示贊同，并解釋道：

朱莉婭·斯塔羅斯堅科，Pinterest

“實驗很有趣！但重要的是要確保結果準確。

“問問你自己：你的聽眾夠多嗎？你收集了足夠的數據嗎？為了達到真正的統計顯著性（在合理的時間范圍內），受眾規模需要足夠大。”

你應該對什么進行 A/B 測試？

我不能告訴你應該對什么進行 A/B 測試。我知道我知道。如果我現在可以給你一份包含 99 項測試的清單，那肯定會讓你的生活更輕松。不乏營銷人員愿意這樣做以換取點擊。

事實上，唯一值得運行的測試是基于您自己的數據的測試。我無權訪問您的數據、您的客戶等，也沒有人管理那些龐大的 A/B 測試想法列表。我們都無法有意義地告訴您要測試什么。

唯一值得運行的測試是基于您自己的數據的測試。

相反，我鼓勵您通過定性和定量分析自己回答這個問題。一些流行的 A/B 測試示例是：

• 技術分析。您的商店是否在每個瀏覽器上都能正確快速地加載？在每個設備上？你可能有一部閃亮的新 iPhone 14，但某個地方的某個人仍在搖晃 2005 年的摩托羅拉 Razr。如果你的網站不能正常快速地運行，它肯定不會像它應該的那樣轉換。
• 現場調查。這些會在您商店的訪客四處瀏覽時彈出。例如，現場調查可能會詢問已經在同一頁面上停留了一段時間的訪問者，是否有什么阻礙他們今天進行購買。如果是這樣，它是什么？您可以使用這些定性數據來提高您的復制率和轉化率。
• 客戶訪談。沒有什么能代替打電話和與客戶交談。為什么他們選擇您的商店而不是競爭商店？當他們到達您的網站時，他們試圖解決什么問題？您可以提出一百萬個問題來深入了解您的客戶是誰以及 他們為什么真正向您購買。
• 客戶調查。客戶調查是對已經購買過商品的人（而不是訪客）進行的全面調查。在設計調查時，您需要關注：定義您的客戶、定義他們的問題、定義他們在購買前的猶豫，以及識別他們用來描述您的商店的詞和短語。
• 分析分析。您的分析工具是否正確跟蹤和報告您的數據？這聽起來可能很愚蠢，但您會驚訝于有多少分析工具配置不正確。分析分析就是要弄清楚訪問者的行為方式。例如，您可能會關注渠道。您最大的 轉化漏斗漏洞在哪里？換句話說，大多數人是從哪里退出您的渠道的？這是開始測試的好地方。
• 用戶測試。在這里，您可以在付費的受控實驗中觀看真人嘗試在您的網站上執行任務。例如，您可能會要求他們找到一款價格在 40 到 60 美元之間的視頻游戲并將其添加到他們的購物車中。當他們執行這些任務時，他們會大聲講述自己的想法和行動。
• 會話重播。會話回放類似于用戶測試，但現在您要與真實的人打交道，他們有真正的金錢和真正的購買意愿。當您的實際訪問者瀏覽您的網站時，您會看到。他們找不到什么？他們在哪里感到沮喪？他們哪里看起來很困惑？

還有其他類型的研究，但首先要為您選擇最佳的 A/B 測試方法。如果你瀏覽其中的一些，你將擁有大量值得測試的基于數據的想法。我保證你的清單會給你帶來比任何“99 件現在要測試的東西”文章所能帶來的更多價值。

優先考慮 A/B 測試想法

大量的 A/B 測試想法令人興奮，但對于決定要測試的內容并不是很有幫助。你從哪里開始？這就是優先級的用武之地。

您可以使用一些常見的優先級排序框架：

• 冰。ICE 代表 影響、信心和輕松。這些因素中的每一個都會獲得 1-10 的排名。例如，如果您可以在沒有開發人員或設計人員幫助的情況下輕松地自行運行測試，您可以給輕松程度打 8 分。你在這里使用你的判斷，如果你有多個人運行測試，排名可能會變得過于主觀。它有助于制定一套指導方針，讓每個人都保持客觀。

• 餡餅。PIE 代表 潛力、重要性和易用性。同樣，每個因素都會獲得 1-10 的排名。例如，如果測試將達到您的流量的 90%，您可能會給重要性打 8 分。PIE 和 ICE 一樣主觀，因此指南也可以幫助這個框架。
• PXL。PXL 是 CXL 的優先級框架。它有點不同，更可定制，迫使做出更客觀的決定。您會發現是/否問題和一個易于實施的問題，而不是三個因素。例如，框架可能會問：“測試是為了增加動力而設計的嗎？” 如果是，則為 1。如果否，則為 0。您可以了解有關此框架的更多信息并下載電子表格。 

現在你知道從哪里開始了，但它也有助于對你的想法進行分類。例如，在我最近做的一些轉換研究中，我使用了三個類別：實施、調查和測試。

• 實施。去做就對了。它壞了或很明顯。
• 調查。需要額外的思考來定義問題或縮小解決方案的范圍。
• 測試。這個想法是合理的，并且有數據支持。測試一下！

在此分類和優先級之間，您已經設置好了。

A/B 測試統計速成班

在運行測試之前，深入研究統計數據很重要。我知道，統計數據通常不是粉絲的最愛，但將其視為您勉強畢業的必修課。

統計數據是 A/B 測試的重要組成部分。幸運的是，A/B 測試工具和拆分測試軟件使優化器的工作變得更容易，但對幕后發生的事情有基本的了解對于稍后分析測試結果至關重要。

HubSpot前增長營銷經理、 Omniscient Digital 現任聯合創始人 Alex Birkett解釋說：

Alex Birkett，Omniscient Digital

“統計數據不是轉化次數的神奇數字，也不是二進制的‘成功！’ 或“失敗?”的事情。這是一個過程，用于在不確定的情況下做出決策，并通過嘗試減少給定決策結果的模糊性來降低風險。

“考慮到這一點，我認為最有必要了解基礎知識：什么是均值、方差、抽樣、標準差、均值回歸，以及什么是‘代表性’樣本。此外，當您開始進行 A/B 測試時，它有助于設置一些特定的護欄以盡可能減少人為錯誤。”

什么意思？

平均值是平均數。您的目標是找到一個代表整體的均值。

例如，假設您要查找視頻游戲的平均價格。您不會將世界上所有視頻游戲的價格相加，然后除以世界上所有視頻游戲的數量。相反，您將分離出一個代表世界上所有視頻游戲的小樣本。

您最終可能會找到幾百個視頻游戲的平均價格。如果你選擇了一個有代表性的樣本，那兩百個電子游戲的平均價格應該代表了世界上所有的電子游戲。

什么是抽樣？

樣本量越大，變異性越小，這意味著平均值更可能準確。

因此，如果您將樣本從 200 個視頻游戲增加到 2,000 個視頻游戲，則方差會更小，均值會更精確。

什么是方差？

方差是平均變異性。從本質上講，變異性越高，平均值在預測單個數據點時的準確性就越低。

那么，每個視頻游戲的平均價格與實際價格有多接近？

什么是統計顯著性？

假設 A 和 B 之間沒有區別，您多久會偶然看到這種效果？

統計顯著性水平越低，您的獲勝變體根本不是獲勝者的可能性就越大。

簡而言之，低顯著性水平意味著您的“贏家”很可能不是真正的贏家（這被稱為誤報）。

請注意，大多數 A/B 測試工具和開源 A/B 測試軟件都會調用統計顯著性，而無需等待預定的樣本量或達到預定的時間點。這就是為什么您可能會注意到您的測試在統計顯著和統計不顯著之間來回切換。

CXL的創始人 Peep Laja 希望更多的人真正了解 A/B 測試的統計顯著性及其重要性：

Peep Laja，CXL 

“統計顯著性不等于有效性——它不是停止規則。當您達到 95% 或更高的統計顯著性時，這意味著在滿足其他兩個更重要的條件之前幾乎沒有：

“1。有足夠的樣本量，您可以使用樣本量計算器計算得出。意思是，有足夠多的人參與了實驗，因此我們可以得出任何結論。

“2。測試已經運行了足夠長的時間，因此樣本具有代表性（并且不要太長以避免樣本污染）。在大多數情況下，您會希望在兩周、三周或四個星期內進行測試，具體取決于您獲得所需樣本的速度。”

什么是均值回歸？

您可能會在 A/B 測試開始時注意到極端波動。

均值回歸是這樣一種現象，即如果某個事物在第一次測量時出現極端情況，那么它在第二次測量時可能會更接近平均值。

如果您調用測試的唯一原因是因為它達到了統計顯著性，那么您可能會看到誤報。隨著時間的推移，您的獲勝變體可能會回歸到均值。

什么是統計功效？

假設 A 和 B 之間存在差異，您多久會看到這種效果？

權力水平越低，獲勝者不被認可的可能性就越大。權力級別越高，獲勝者未被認出的可能性就越低。實際上，您只需要知道 80% 的統計功效是大多數 A/B 測試工具和/或任何拆分測試服務的標準。

Online Dialogue創始人 Ton Wesseling希望更多人了解統計功效：

Ton Wesseling，在線對話

“很多人擔心誤報。我們更擔心假陰性。為什么要在發現證明你的積極改變產生影響的機會真的很低的地方進行實驗？”

什么是外部有效性威脅？

有一些外部因素會威脅到測試的有效性。例如：

• 黑色星期五網絡星期一 (BFCM) 銷售
• 正面或負面的媒體提及
• 一項重要的付費活動啟動
• 星期幾
• 四季更替

外部有效性威脅影響結果的更常見 A/B 測試示例之一是在季節性事件期間。假設您要在 12 月進行測試。主要的購物假期意味著該月您商店的客流量增加。您可能會在 1 月份發現 12 月份的獲勝者表現不佳。

為什么？

由于外部有效性威脅：假期。

您做出測試決定所依據的數據是異常的。當事情在一月份穩定下來時，你可能會驚訝地發現你的贏家輸了。

你無法消除外部有效性威脅，但你可以通過運行整周的測試來減輕它們（例如，不要在星期一開始測試并在星期五結束），包括不同類型的流量（例如，不要t 專門測試付費流量，然后將結果推廣到每個流量源），并注意潛在威脅。

如何設置 A/B 測試

讓我們看一下 A/B 測試小教程。在你測試任何東西之前，你需要有一個可靠的假設。（太好了，我們剛剛完成數學課，現在我們開始學習科學。）例如，“如果我降低運費，轉化率就會提高。”

別擔心，這并不復雜。基本上，您需要檢驗一個假設，而不是一個想法。假設是可衡量的，旨在解決特定的轉換問題，并側重于洞察力而不是勝利。

您需要對假設而非想法進行 A/B 測試。

每當我寫一個假設時，我都會使用從Craig Sullivan 的假設工具包中借用的公式：

• 因為你看到[插入研究數據/反饋]
• 您期望 [您正在測試的更改] 會導致 [您預期的影響] 并且
• 您將使用 [data metric] 來衡量這一點

容易，對吧？你所要做的就是填空，然后你的測試想法就變成了一個假設。

選擇 A/B 測試工具

現在您可以開始選擇 A/B 測試工具或拆分測試服務。通常，您會首先想到Google Optimize、Optimizely和VWO。

所有這些都是好的、安全的選擇。

• 谷歌優化。免費，除了一些多變量限制外，如果您剛剛開始，這不會對您產生真正的影響。它在執行 Google Analytics A/B 測試時效果很好，這是一個優點。
• 優化地。即使沒有技術技能，也可以輕松啟動和運行小型測試。Stats Engine可以更輕松地分析測試結果。通常，Optimizely 是三者中最昂貴的選擇。
• 威沃。VWO 有SmartStats使分析更容易。此外，它還為初學者提供了一個很棒的所見即所得編輯器。每個 VWO 計劃都帶有熱圖、現場調查、表格分析等。

我們在Shopify 應用商店中也有一些 A/B 測試工具 ，您可能會覺得它們有用。

選擇 A/B 測試工具或拆分測試軟件后，請填寫注冊表并按照提供的說明進行操作。該過程因工具而異。不過，通常情況下，系統會要求您在您的網站上安裝一個片段并設定目標。

如何分析A/B測試結果

還記得我說過寫一個假設將焦點從勝利轉移到洞察力嗎？前谷歌產品經理 Analytics Advocate Krista Seiden解釋了這意味著什么：

克里斯塔·塞登，谷歌

“A/B 測試最容易被忽視的方面是向你的失敗者學習。事實上，在我運行的優化程序中，我養成了發布‘失敗報告’的習慣，我在其中指出了一些最大的失敗者季度以及我們從他們身上學到的東西。

“我一直以來最喜歡的一個廣告來自籌備數月的廣告系列。我們能夠在即將上線之前偷偷進行著陸頁測試，這是我們所做的一件好事，因為它慘遭失敗。如果我們真的按原樣啟動頁面，我們將對底線造成重大打擊。我們不僅最終為企業節省了大量資金，而且我們能夠深入研究并做出一些假設（我們后來進行了測試）關于為什么新頁面表現如此糟糕，這使我們成為更好的營銷人員并取得了更大的成功在未來的競選活動中。”

如果你正確地制定了你的假設，即使是失敗者也是贏家，因為你將獲得可用于未來測試和業務其他領域的見解。因此，當您分析測試結果時，您需要關注洞察力，而不是測試是贏了還是輸了。總有東西要學，總有東西要分析。不要解雇失敗者！

如果你正確地制定了你的假設，即使是失敗者也是贏家。

這里最需要注意的是需要進行分割。一項測試可能總體上是失敗者，但它有可能至少在一個部分表現良好。細分是什么意思？

• 新訪客
• 回頭客
• iOS訪客
• 安卓訪客
• Chrome 訪問者
• 野生動物園游客
• 桌面訪客
• 平板訪客
• 有機搜索訪問者
• 付費訪客
• 社交媒體訪問者
• 登錄買家

你明白了吧？

當您在測試工具中查看結果時，您正在查看整盒糖果。你需要做的是分開糖果，這樣你就可以發現更深入的、細分的洞察力。

很可能該假設在某些細分市場中被證明是正確的。這也告訴你一些事情。

分析不僅僅是關于測試是贏家還是輸家。細分您的數據以找到隱藏在表面之下的洞察力。

A/B 測試工具不會為您進行分析，因此這是一項需要隨著時間的推移而培養的重要技能。

免費電子書：初學者電子商務分析

找出哪些指標是建立和發展在線業務的關鍵。本免費指南是學習電子商務分析的完美第一步。

立即獲取免費電子書

如何存檔過去的 A/B 測試

假設您明天進行第一次測試。兩年后的明天，你還記得那次考試的細節嗎？不見得。

這就是歸檔 A/B 測試結果很重要的原因。如果沒有維護良好的檔案，您獲得的所有這些見解都將丟失。另外，我沒騙你，如果你不存檔，很容易對同一件事進行兩次測試。

但是，沒有“正確”的方法來做到這一點。您可以使用Effective Experiments之類的工具，也可以使用 Excel。這真的取決于你，尤其是當你剛剛開始的時候。只要確保您跟蹤：

• 假設
• 控件和變化的屏幕截圖
• 不管是贏了還是輸了
• 通過分析獲得的見解

隨著你的成長，你會感謝自己保留了這個檔案。它不僅對您有幫助，對新員工和顧問/利益相關者也有幫助。

專業人士的 A/B 測試流程

現在您已經完成了標準的 A/B 測試教程，讓我們來看看來自 Google 和 HubSpot 等公司的專業人士的確切流程。

免費閱讀清單：初學者的轉換優化

參加轉化優化速成班，將更多網站訪問者轉變為客戶。在下面訪問我們免費的精選高影響力文章列表。

獲取免費閱讀清單

克里斯塔·塞登

我的 Web 和應用程序 A/B 測試的分步過程從分析開始——在我看來，這是任何好的測試程序的核心。在分析階段，目標是檢查您的分析數據、調查或用戶體驗數據，或您可能擁有的任何其他客戶洞察來源，以了解您的優化機會在哪里。

一旦您從分析階段獲得了良好的想法，您就可以繼續假設可能出了什么問題，以及如何可能修復或改進這些優化領域。

接下來，是構建和運行測試的時候了。確保運行它們一段合理的時間（我默認為兩周，以確保我考慮到每周的變化或異常），當你有足夠的數據時，分析你的結果以確定你的贏家。

在這個階段花一些時間分析輸家也很重要——你能從這些變化中學到什么？

最后，您可能只有在花時間為可靠的優化計劃打好基礎后才能到達這個階段，是時候研究個性化了。這不一定需要花哨的工具集，而是可以從您擁有的有關用戶的數據中得出。

營銷個性化可以像將正確的內容定位到正確的位置一樣簡單，也可以像基于單個用戶操作的定位一樣復雜。不過，不要一下子就投入到個性化方面。確保您花足夠的時間首先正確掌握基礎知識。

Alex Birkett，Omniscient Digital

在高層次上，我嘗試遵循這個過程：

• 收集數據并確保分析實施準確無誤。
• 分析數據并找到見解。
• 將洞察力轉化為假設。
• 根據影響和易用性確定優先級，并最大限度地分配資源（尤其是技術資源）。
• 運行測試（根據我的知識和能力遵循統計最佳實踐）。
• 分析結果，根據結果實施與否。
• 根據發現進行迭代，然后重復。

更簡單地說：研究、測試、分析、重復。

雖然此過程可能會根據上下文有所不同或發生變化（我是否在測試關鍵業務產品功能？博客文章 CTA？風險狀況以及創新與風險緩解之間的平衡是什么？），但它非常適用于任何規模或公司類型。

關鍵是這個過程是敏捷的，但它也收集了足夠的數據，包括定性客戶反饋和定量分析，以便能夠提出更好的測試想法并更好地確定它們的優先級，從而為您的在線商店帶來流量。

Ton Wesseling，在線對話

當我們想要優化客戶旅程時，我們總是回答的第一個問題是：該產品或服務在何處適合我們在在線對話中創建的 ROAR 模型？您是否仍處于風險階段，我們可以進行大量研究但無法通過 A/B 測試在線實驗（每月低于 1,000 次轉換）驗證我們的發現，或者您是否處于優化階段？甚至更高？

• 風險階段：大量研究，這些研究將轉化為從商業模式支點到全新設計和價值主張的任何事物。
• 優化階段：將優化價值主張和商業模式的大型實驗。
• 優化階段：驗證用戶行為假設的小實驗，這將為更大的設計變更積累知識。
• 自動化：您仍然有實驗能力（訪問者），這意味著不需要您的全部測試潛力來驗證您的用戶旅程。剩下的應該用來開發，現在成長得更快（不關注長期學習）。這可以通過運行強盜/使用算法來自動化。
• 重新思考：你停止添加大量研究，除非它是新事物的支點。

因此，網絡或應用程序 A/B 測試只是 ROAR 及以后的優化階段的一件大事（直到重新考慮）。

我們運行實驗的方法是 FACT & ACT 模型：

我們所做的研究基于我們的 5V 模型：

我們收集所有這些見解，提出一個主要的研究支持假設，這將導致子假設，這些子假設將根據通過桌面或移動 A/B 測試收集的數據確定優先級。假設為真的可能性越高，它的排名就越高。

一旦我們知道我們的假設是對還是錯，我們就可以開始結合學習并通過重新設計/重新調整客戶旅程的更大部分來采取更大的步驟。然而，在某些時候，所有獲勝的實現都會導致局部最大值。然后你需要邁出更大的一步才能達到潛在的全局最大值。

當然，主要的經驗教訓將傳播到整個公司，這會導致基于您經過驗證的第一方見解的各種更廣泛的優化和創新。

你在向國際觀眾推銷嗎？了解如何使用偽本地化簡化該過程。

朱莉婭·斯塔羅斯堅科，Pinterest 

實驗的目的是驗證對現有網頁進行更改是否會對業務產生積極影響。

在開始之前，確定是否真的有必要進行實驗很重要。考慮以下場景：有一個點擊率極低的按鈕。降低此按鈕的性能幾乎是不可能的。因此，沒有必要驗證提議的按鈕更改的有效性（即運行實驗）。

同樣，如果對按鈕的提議更改很小，則可能不值得花時間設置、執行和拆除實驗。在這種情況下，應該將更改推廣到每個人，并且可以監控按鈕的性能。

如果確定運行實驗實際上是有益的，那么下一步就是定義應該改進的業務指標（例如，提高按鈕的轉化率）。然后我們確保適當的數據收集到位。

完成后，觀眾將隨機運行，在兩組之間進行拆分測試：一組顯示按鈕的現有版本，而另一組顯示新版本。監控每個受眾的轉化率，一旦達到統計顯著性，便確定實驗結果。

Peep Laja，CXL 

A/B 測試是更大的轉換優化圖的一部分。在我看來，80% 是關于研究的，只有 20% 是關于測試的。轉換研究將幫助您確定開始測試的內容。

我的過程通常如下所示（簡化摘要）：

• 使用ResearchXL等框架進行轉化研究，以確定您網站上的問題。
• 選擇一個高優先級的問題（影響大部分用戶并且是一個嚴重的問題），并盡可能多地集思廣益解決這個問題。用您的轉化研究見解告知您的構思過程。確定要在哪個設備上運行測試（您需要獨立于桌面運行移動 A/B 測試）。
• 確定您可以測試多少變體（基于您的流量/交易級別），然后選擇您最好的一到兩個想法作為解決方案來對照控制進行測試。
• 將確切的處理方法（編寫副本、進行設計更改等）線框化。根據更改的范圍，您可能還需要包括設計師來設計新元素。
• 讓您的前端開發人員在您的測試工具中實施處理。設置必要的集成（Google Analytics）并設定適當的目標。
• 對測試進行 QA（失敗的測試是迄今為止最大的 A/B 測試殺手）以確保它適用于每個瀏覽器/設備組合。
• 啟動測試！
• 測試完成后，進行 測試后分析。
• 根據結果??，要么實施獲勝者，迭代治療，要么去測試其他東西。

免費網絡研討會：

營銷101

努力增加銷售額？在此免費培訓課程中了解如何從第一天到首次銷售。

現在注冊

為您的業務優化 A/B 測試

你有過程，你就有力量！所以，走出去，獲得最好的 A/B 測試軟件，然后開始測試您的商店。在您不知不覺中，這些見解將在您的銀行中累積更多的錢。 

如果您想繼續學習優化，可以考慮參加免費課程，例如 Udacity 的 Google A/B 測試。您可以了解有關 Web 和移動應用程序 A/B 測試的更多信息，以提高您的優化技能。