增長黑客：快節(jié)奏實驗流程｜一丁

增長黑客的其實暗含了一個核心假設(shè)，那就是：

尋求試驗成功是一個以量取勝的游戲，開展的試驗越多，學(xué)習(xí)到的東西也越多。

快節(jié)奏的試驗流程，簡單來說，就是收集洞察，形成實驗想法，排定實驗優(yōu)先級，運行實驗，再回到分析階段審視實驗結(jié)果并決定下一步行動。

以下對每個環(huán)節(jié)進(jìn)行拆解：

第一階段，分析洞察

分析洞察主要有以下幾個來源：

1. 企業(yè)內(nèi)部：目前發(fā)展到什么階段，北極星指標(biāo)是什么，如何達(dá)成目標(biāo)。
2. 用戶：最佳客戶有哪些行為、啟用APP的原因有哪些，有怎樣的核心訴求。
3. 數(shù)據(jù)分析，比如上一次增長實驗的結(jié)果。
4. 競爭對手，別人在做什么，是否值得跟進(jìn)，當(dāng)然了，不要被競爭對手牽著鼻子走，多觀察，但也要有自己的判斷。

第二階段，提出方案

增長負(fù)責(zé)人應(yīng)當(dāng)建立一個項目管理系統(tǒng)，用于想法的提交和管理以及測試結(jié)果的跟蹤和報告，同時這也是企業(yè)知識的儲備庫。

團(tuán)隊成員提出方案的時候不應(yīng)該僅僅提出質(zhì)疑，而是應(yīng)該清楚地說明具體的改進(jìn)方案，以及衡量效果的指標(biāo)。

第三階段，排定優(yōu)先級

對收集到的方案進(jìn)行優(yōu)先級排定。方案提交到團(tuán)隊討論之前，必須要給他打分，打分額能夠幫助團(tuán)隊在不同的想法之間進(jìn)行比較，以確定什么時候開展哪一項實驗。

增長黑客介紹了ICE評分體系，impact（影響力），confidence（信心）和ease（簡易性）

1. 影響力：影響力是指某個想法對于促進(jìn)團(tuán)隊關(guān)注的指標(biāo)的預(yù)期提升程度。
2. 信心：這個標(biāo)準(zhǔn)的衡量是想法提出者對于想法產(chǎn)生的預(yù)期影響的信心。
3. 簡易性：簡易性衡量的是進(jìn)行一項實驗所需投入的時間和精力。

當(dāng)然，分?jǐn)?shù)只能是一種參考，因為我們對自己想法的預(yù)期并不總是很準(zhǔn)確。

有時候，也需要靠直覺，而直覺來自于對業(yè)務(wù)的洞察和長期實驗的結(jié)果。

第四階段，測試

測試過程中重點關(guān)注以下4個方面

1、投放量

做增長實驗，首先需要確定測試人群的規(guī)模，也就是投放量。

投放量少了，都會擔(dān)心觀測指標(biāo)受偶然因素影響，失去統(tǒng)計意義；投放量過多，又會擔(dān)心測試風(fēng)險過大，對業(yè)務(wù)影響過大。

比如，在統(tǒng)計學(xué)中，有一種兩樣本比例假設(shè)驗證，可以計算最小樣本量，限于篇幅，在此不做展開。

2、投放人群

在AB Test中，投放人群=流量，選擇投放人群有兩種形式：

隨機(jī)：隨機(jī)從大盤中抽樣，如userid單雙尾號抽取、隨機(jī)種子打亂數(shù)據(jù)再抽樣等。

定向：針對特定用戶群體下發(fā)策略，例如結(jié)合用戶標(biāo)簽或自定義規(guī)則篩選用戶。

以上兩種形式均要保證策略AB下兩組用戶相似，比如為了保證隨機(jī)性，有時候會先做一個AAtest，確保分組的合理性，才能進(jìn)行ABtest。

3、配置實驗策略

在企業(yè)真實環(huán)境中，會有很多ABtest實驗，不可能說每個流量群體在同一時刻只開展一個實驗，如果這么做了，就容易發(fā)生流量饑餓，影響實驗的節(jié)奏。

在確定實驗策略之前，先必須判斷實驗之間的關(guān)系。

(1)正交實驗：實驗之間相互不影響，比如實驗一是驗證按鈕的顏色，而實驗二是驗證廣告的內(nèi)容，由于顏色不會影響廣告算法，所以屬于正交實驗。

(2)互斥實驗：實驗之間相互影響，比如實驗一是驗證廣告展示效果，實驗二是驗證廣告內(nèi)容，這兩種實驗就是互斥的。

簡單來說，正交實驗可以通過分層的方式，同一組用戶群體同時進(jìn)行多個正交實驗，而互斥實驗，則需要通過將流量分出多個buckets，分配給不同的策略進(jìn)行實驗。

4、評估數(shù)據(jù)結(jié)果

最后要評估數(shù)據(jù)結(jié)果，也就是需要驗證對照組和測試組是否具有顯著差異。這就需要用到假設(shè)驗證，統(tǒng)計學(xué)中常見的假設(shè)檢驗包括T檢驗、Z檢驗、F檢驗、卡方檢驗等。

測試完成后，就是重新回到第一階段，進(jìn)行分析和學(xué)習(xí)。

注意兩個細(xì)節(jié)

第一， 分析結(jié)果應(yīng)當(dāng)寫進(jìn)實驗總結(jié)中，存在知識庫中，確保相同類型的實驗不會重復(fù)做。

第二， 實驗無論成功或者失敗，都要總結(jié)和回顧，當(dāng)然，實驗成功要會宣傳，為自己爭取資源。

以上是此次分享的關(guān)于快節(jié)奏實驗的全部內(nèi)容，歡迎探討。