未擬定假設的A/B測試注定是失敗的
原文 http://www.infoq.com/cn/news/2015/02/ab-test-destined-to-fail
如果要進行一次旅行，那么首先應該知道目的地。A/B測試也是如此。來自 CROmetrics 的網頁轉化率優化顧問 Brian Schmitt 曾經說過這樣一句話：
如果你不能說明執行測試的原因，那么你很可能需要檢查下，為什么測試及測試什么。
Shana Rusonis 是A/B測試服務公司 Optimizely 的一名內容營銷人員。她持同樣的觀點，認為擬定假設是執行測試的一個必備步驟。近日，她發表了一篇 博文 ，探討了假設定義、假設在測試流程中的位置以及充分假設的意義等幾個方面的問題。
按照她的說法，假設是測試執行前的預測，它清楚地描述了下列問題：
- 什么發生了改變？
- 預期會產生什么結果？
- 為什么會有這種預期？
而執行測試就是對假設的證明或反駁。
對應上述問題，假設由三部分組成，遵循“如果____，那么____，因為____。”這樣一種模式。下面是假設的三個要素，測試人員應該在構建并開始測試之前研究擬定并形成文檔記錄：
- 變量——網站或移動應用上的一個元素，修改、添加或移除會產生預期的結果。網站或應用分析可以幫助測試人員確定網站中性能低下的頁面，告訴他們應該從哪里尋找需要改變的元素。
- 結果——就是預期結果，可能更多的體現在網頁轉化率、按鈕點擊次數或者測試人員試圖影響的其它KPI或指標上。在測試之前，應該根據基準指標確定理想的結果。
- 理由——證明假設是經過研究擬定的，說明為什么要進行這項測試以及通過測試可以了解什么。測試人員可以通過調查問卷、熱圖、用戶測試等 定性工具 確定用戶與網站或應用的交互行為。
然而，Shana指出，經過充分研究后擬定的假設并不能保證測試的成功。它只能保證一次學習機會。但即使測試結果證明前期的假設不正確，測試人員仍然可以從中知道這種改變并不適合他們的網站或應用。這樣，他們就可以繼續擬定新的假設，并找到適合自己的最佳方案。這里有一個小技巧，就是：
用文檔記錄研究過程和假設。在團隊內發布測試結果時，記得連同關鍵測試指標一起分享假設。測試假設庫在未來的測試中將成為非常有價值的參考。
此外，Shana還結合Optimizely優化負責人 Kyle Rush 的測試流程介紹了假設在其中的位置。該流程包括如下八個步驟：
- 識別目標和關鍵指標；
- 擬定假設；
- 根據樣本數量評估測試持續時間；
- 根據預計ROI排定測試優先級；
- 測試質量保證；
- 啟動測試；
- 記錄和分享結果；
- 考慮重新測試。
對于以上步驟，Shana認為，步驟1和4同假設一樣重要。同時，她還特別指出，不是所有的假設都是同等重要的。團隊可能會有一個有趣的想法，或者可能會有不同意見，但那不一定就是最需要測試的事情。 優先級排序和測試 應該針對網站或應用中對業務的潛在影響比較大的部分進行。測試人員可以通過分析確定這些部分，然后重點擬定假設，為改進它們提供支持。