復(fù)盤36氪增長過程，如何用A/B測試進(jìn)行增長實(shí)驗(yàn)

一直聽人說增長黑客概念很火，網(wǎng)上也流傳著很多做用戶增長的各種方法論和案例，但貌似很少有對(duì)一次增長實(shí)驗(yàn)的完整過程描述，今天就把我在36氪做增長的過程給大家做下復(fù)盤，分享下如何用A/B測試進(jìn)行增長實(shí)驗(yàn)。

實(shí)驗(yàn)名稱

為實(shí)驗(yàn)命個(gè)名。本次實(shí)驗(yàn)名稱為：新用戶首屏內(nèi)容消費(fèi)轉(zhuǎn)化測試。也就是說，本次實(shí)驗(yàn)對(duì)象是“新用戶”，目的是讓新用戶消費(fèi)36氪App上的內(nèi)容，而且是在首頁的首屏就進(jìn)行內(nèi)容點(diǎn)擊消費(fèi)。

實(shí)驗(yàn)假設(shè)

描述實(shí)驗(yàn)假設(shè)條件和滿足條件后的預(yù)估效果。假設(shè)這個(gè)實(shí)驗(yàn)成功，我們預(yù)測新用戶首次消費(fèi)內(nèi)容轉(zhuǎn)化率，能提升10%，因?yàn)椋?/p>

• 假設(shè)新用戶首次啟動(dòng)App，發(fā)現(xiàn)沒什么可看的，找不到自己感興趣的內(nèi)容，就會(huì)直接退出，不會(huì)消費(fèi)內(nèi)容。
• 如果我們讓新用戶剛來時(shí)就給他呈現(xiàn)大家都在看的內(nèi)容，或者行業(yè)熱點(diǎn)內(nèi)容，可能會(huì)引起新用戶興趣，預(yù)計(jì)會(huì)提升內(nèi)容消費(fèi)點(diǎn)擊率。

實(shí)驗(yàn)設(shè)計(jì)

具體描述這個(gè)實(shí)驗(yàn)設(shè)計(jì)的過程。出于成本和預(yù)期效果考慮，36氪采用了Testin公司提供的A/B測試系統(tǒng)。在本次實(shí)驗(yàn)中，會(huì)將每天的新增用戶（第一次安裝并啟動(dòng)App的用戶），等分成3組，每組分流33%，第1組看到對(duì)照組頁面。第2組看到實(shí)驗(yàn)組1，第3組看到實(shí)驗(yàn)組2。分別比較每個(gè)實(shí)驗(yàn)組的點(diǎn)擊轉(zhuǎn)化數(shù)據(jù)。

對(duì)照組。該組看到的頁面，就是36氪App7.4版本的首頁首屏，沒有任何變化。

實(shí)驗(yàn)組1。該組看到的頁面，是把36氪App首頁首屏增加了一個(gè)可點(diǎn)擊區(qū)域，這個(gè)區(qū)域?yàn)橛脩舫尸F(xiàn)36氪上24小時(shí)的熱門文章，叫“24小時(shí)熱榜”。如下圖所示：

點(diǎn)擊這個(gè)區(qū)域，跳轉(zhuǎn)到一個(gè)24小時(shí)熱門文章列表頁，用戶可點(diǎn)擊查看文章詳情。

實(shí)驗(yàn)組2。該組看到的頁面，是把36氪App首頁首屏增加了一個(gè)可點(diǎn)擊區(qū)域，這個(gè)區(qū)域?yàn)橛脩舫尸F(xiàn)36氪編輯精選的熱門專題關(guān)鍵詞，叫“熱點(diǎn)聚焦”。如下圖所示：

點(diǎn)擊這個(gè)區(qū)域，跳轉(zhuǎn)到一個(gè)專題聚合列表頁，用戶可點(diǎn)擊查看這些專題的詳情。

實(shí)驗(yàn)指標(biāo)

定義實(shí)驗(yàn)觀察的數(shù)據(jù)指標(biāo)。本次實(shí)驗(yàn)定義指標(biāo)為：每組新用戶，從啟動(dòng)到消費(fèi)內(nèi)容的轉(zhuǎn)化率百分比。

實(shí)驗(yàn)時(shí)間

本次實(shí)驗(yàn)時(shí)間為5.28-6.11，共2周。

實(shí)驗(yàn)打分

從預(yù)期影響、所需資源、成功概率分別給實(shí)驗(yàn)打分。預(yù)期影響為高，期望這個(gè)模塊能比普通信息流模塊更多提升點(diǎn)擊轉(zhuǎn)化率；所需資源為中，實(shí)驗(yàn)邏輯很簡單，但搭建A/B測試框架還是花了一些技術(shù)成本；成功概率為高，預(yù)計(jì)成功率很高，因?yàn)橐延谢⑿?、極客公園、愛范兒開發(fā)過類似模塊。總的綜合打分為：高。

實(shí)驗(yàn)結(jié)果數(shù)據(jù)

本次實(shí)驗(yàn)觀察數(shù)據(jù)有2個(gè)，1個(gè)是消費(fèi)內(nèi)容轉(zhuǎn)化率，作為主要指標(biāo)觀察；1個(gè)是消費(fèi)后的用戶留存率，作為輔助指標(biāo)觀察。

內(nèi)容轉(zhuǎn)化率。3組用戶的數(shù)據(jù)表現(xiàn)如下（怕數(shù)據(jù)敏感，對(duì)絕對(duì)值做了處理，見諒）：

次日留存率。3組用戶的數(shù)據(jù)表現(xiàn)如下：

實(shí)驗(yàn)結(jié)論分析

對(duì)實(shí)驗(yàn)結(jié)果數(shù)據(jù)做出簡單分析，得出一定結(jié)論。具體如下：

兩個(gè)實(shí)驗(yàn)，都能提升新用戶點(diǎn)擊轉(zhuǎn)化率，從數(shù)據(jù)上看基本達(dá)到預(yù)期，提升了10%以上。

參與兩個(gè)實(shí)驗(yàn)的用戶，留存也有一定程度的提升，有進(jìn)一步正面效果。

相對(duì)而言，熱門文章比熱點(diǎn)專題對(duì)新用戶消費(fèi)內(nèi)容的轉(zhuǎn)化效果好，推測用戶更關(guān)注的還是36氪上的內(nèi)容，而不是一些行業(yè)熱點(diǎn)，也許也是因?yàn)檫@些新用戶并不關(guān)心在36氪上看互聯(lián)網(wǎng)熱點(diǎn)事件，而是傾向于看36氪上大家都在看的熱門內(nèi)容。

后續(xù)計(jì)劃

說清實(shí)驗(yàn)完成后的下一步計(jì)劃。本次實(shí)驗(yàn)完成后，預(yù)計(jì)：

將實(shí)驗(yàn)組1：24小時(shí)熱榜，應(yīng)用到App下一版本的產(chǎn)品設(shè)計(jì)中 。

繼續(xù)測試驗(yàn)證全量用戶對(duì)該模塊的消費(fèi)轉(zhuǎn)化提升效果。

以上就是此次實(shí)驗(yàn)的實(shí)施效果簡單匯報(bào)總結(jié)，出于信息敏感的顧慮，有些數(shù)據(jù)不便在此分享的那么詳細(xì)，但總體來說還是比較成功的，更重大的意義在于我們有完整實(shí)施過一次增長實(shí)驗(yàn)的經(jīng)驗(yàn)，對(duì)后續(xù)再進(jìn)行其他實(shí)驗(yàn)打下了基礎(chǔ)。

文：申悅@互聯(lián)網(wǎng)悅讀筆記（pmboxs）

首席增長官文章薦讀：

《首席增長官的北極星指標(biāo)：新用戶激活》
《知識(shí)付費(fèi)內(nèi)容de三層模型：體系化，激發(fā)思想，實(shí)操上手》
《亞馬遜創(chuàng)造1360億美元銷售額的增長黑客策略 | 增長官研究院》

更多精彩，關(guān)注：增長黑客（GrowthHK.cn）

增長黑客（Growth Hacker）是依靠技術(shù)和數(shù)據(jù)來達(dá)成各種營銷目標(biāo)的新型團(tuán)隊(duì)角色。從單線思維者時(shí)常忽略的角度和高度，梳理整合產(chǎn)品發(fā)展的因素，實(shí)現(xiàn)低成本甚至零成本帶來的有效增長…