楊三季：優(yōu)秀產(chǎn)品人必懂的增長實驗流程

增長實驗是非常重要的驅動增長的方式。它的作用是驗證產(chǎn)品、運營動作與增長數(shù)據(jù)之間的因果性。當提出一個方案后，可以通過A/B測試的方法來驗證這個方案是否能夠真的驅動產(chǎn)品增長。

一、增長實驗全流程

當你想通過增長實驗尋找增長爆發(fā)點時，往往會出現(xiàn)以下三種情況：

情況一：團隊缺乏快速實驗、快速迭代的思維。通常做項目時，決策全憑經(jīng)驗及主觀判斷，一旦決策就直接實施。這會導致團隊盲目執(zhí)行，很容易出現(xiàn)做項目時，消耗大量時間成本，但最終效果沒有達到預期，甚至出現(xiàn)業(yè)務數(shù)據(jù)下滑的情況。

• 解決方案：自己先開始做一些增長方案的A/B測試，取得積極成果后再逐步推廣到團隊，從而逐漸營造公司的增長實驗底蘊。當公司的實驗文化氛圍和技術基礎足夠堅實后，公司內部可能會由任何一個人發(fā)起想法，主導實驗的是產(chǎn)品經(jīng)理。把設計具體化，落到實處。

情況二：團隊有實驗的思維，但是缺少做A/B測試的正確方法。雖然團隊大力推行增長實驗-A/B測試，但很快會發(fā)現(xiàn)，從0到1推行A/B測試需投入大量人力和時間成本，還易出錯。實驗如何設計？如何配置樣本？如何正確看待實驗結論？如果沒有正確掌握這些方法，就會發(fā)現(xiàn)自己推行的A/B測試并沒有提升公司的效率，最終演變成了走形式。

• 解決方案：你需要重點修正和優(yōu)化自己的A/B測試方法論、掌握A/B測試在每一步需要解決的關鍵知識，并思考如何快速搭建一個測試環(huán)境。

情況三：已經(jīng)掌握了做A/B測試的正確方法論，但是效率低。很多公司或部門一年做的測試實驗甚至還不到10個，試錯速度太低，就使A/B測試的效果大打折扣。

• 解決方案：你的目標應該是將實驗數(shù)量提高10倍、20倍等，通過人才培養(yǎng)、采用更好的A/B測試基礎設施，來鼓勵高頻高效的實驗，從而真正通過實驗來驅動增長。

1. 增長方法論的核心思維

利用經(jīng)濟杠桿原理推測和假設出適合產(chǎn)品增長的爆發(fā)平衡點，通過不斷的實驗驗證，得出準確的爆發(fā)點并加以放大，最終達到產(chǎn)品增長的效果。本文將著重分享如何通過增長實驗來驗證增長假設。

通過制定北極星指標并構建增長模型，找到現(xiàn)階段關于增長的聚集領域，對這個聚集領域進行中長期（30~120天）的增長驗證。找到增長聚焦領域是增長實驗效果最大化的第一步。因為當你集中火力攻破產(chǎn)品中一個聚集的切入點時，會對這個點的洞察進一步的剝絲抽繭，無形當中會有更深一層次的認知。

2. 增長實驗流程

第一步：產(chǎn)生實驗想法。

從聚集領域出發(fā)，產(chǎn)生高質量的實驗想法。通過從數(shù)據(jù)中通過洞察的方式，來幫助提高實驗的成功率。從而形成一個比較清晰的實驗假設。以及形成一個實驗想法庫。

第二步：確定優(yōu)先級排序。

針對實驗想法庫中各種想法，通過排序模型進行實驗優(yōu)先級排序。

第三步：設計增長實驗。

有了具體進行實驗的想法后，進行細化變成一個可落地的實驗方案（開發(fā)PRD）。這一步主要是講述制定實驗指標，確定實驗受眾以及設計實驗版本，避免遺漏影響實驗結果的重要方面。

第四步：實驗開發(fā)上線。

制定數(shù)據(jù)埋點后，開發(fā)實驗并上線后可根據(jù)埋點數(shù)據(jù)清晰衡量實驗結果。

第五步：分析實驗結果。

得到結果后，如何通過系統(tǒng)性方法分析實驗結果，評估實驗結果的可信性并得出可信結論，并放大該結論的實驗影響。

二、產(chǎn)生實驗想法：明確實驗目標

從聚集領域和用戶業(yè)務問題本身出發(fā)確定實驗目標，并通過多種數(shù)據(jù)分析方法從數(shù)據(jù)中尋找可以形成合理實驗假設的依據(jù)。從而產(chǎn)生高質量的實驗想法。

第一步：明確實驗目標

大多數(shù)人可能在增長實驗剛開始時就找錯了出發(fā)點，往往會以自身想法出發(fā)考慮產(chǎn)品的可能存在的問題，比如某個頁面設計難看、某個功能，老板說要改等。這類想法過于主觀，以至于整體實驗立于錯誤的出發(fā)點，導致了實驗失敗。正確的實驗出發(fā)點，應結合產(chǎn)品現(xiàn)階段的用戶特征和業(yè)務問題進行思考和總結可能存在的問題。比如用戶下單完成率低，應如何解決？用戶反饋這個業(yè)務流程過于繁瑣，應如何改善等。

第二步：尋找數(shù)據(jù)依據(jù)

從數(shù)據(jù)中尋找假設依據(jù)，是產(chǎn)生高質量的實驗想法的關鍵。所謂高質量的實驗想法，就是經(jīng)過實驗驗證后，這個實驗想法的成功率高，實驗指標提升幅度大。通過數(shù)據(jù)尋找洞察形成高質量假設主要可以通過以下步驟來實現(xiàn)。

步驟一：從三類數(shù)據(jù)中尋找證據(jù)支持假設

我們通過定量數(shù)據(jù)、定性數(shù)據(jù)、實踐案例中尋找證據(jù)支持假設的真實性。三類數(shù)據(jù)所能提供的證據(jù)類型是不同的，

• 定量數(shù)據(jù)可以定位假設想法的來源出處。比如：定量數(shù)據(jù)可發(fā)現(xiàn)下單流程中哪一個節(jié)點的轉化率低，導致整個下單完成率低。
• 定性數(shù)據(jù)可定位假設的想法的產(chǎn)生原因。比如通過定性數(shù)據(jù)分析下單完成率低的原因。
• 實踐案例則提供了通過何種方法優(yōu)化假設想法效果更好。比如其他競品在下單流程中是通過何種方法提高了下單完成率的。

根據(jù)實驗類型，從上述三類數(shù)據(jù)中尋找證據(jù)支持假設。

定性分析案例：電商有貨APP提升銷售額

• 實驗目標是提升有貨APP的商品下單漏斗轉化率。通過定性分析發(fā)現(xiàn)，多數(shù)用戶都會擔心在平臺買到假貨。因此作出的實驗假設為：在商品詳情頁首屏加入“平臺鑒定通過后發(fā)貨”的文案，可以提升下單率和支付轉化率，因為消除了用戶顧慮。通過增長實驗后，下單率提升了46%，支付轉化率提升了70%。

最佳實踐案例：餓了么下單促銷頁通過LIFT模型提高轉化率

• LIFT模型：基于數(shù)據(jù)基礎，在產(chǎn)品信息中探尋問題，設計有關解決這些問題的假設，通過實驗得出改進問題的結論，進而提升轉換率。

影響LIFT模型的六個因素：

1. 價值主張：是產(chǎn)品轉換率的載體，是產(chǎn)品和服務最重要的屬性，是從客戶的角度來看產(chǎn)品的匹配點和差異點。通過優(yōu)化認知、性能、情感、用戶心理價位四個方面來降低用戶心理認知障礙，提升用戶的行動力。
2. 相關性：為用戶提供符合預期需求的信息和產(chǎn)品，并且其內容與價值主張最相關。通過優(yōu)化用戶行為漏斗相關性、渠道來源相關性、目標受眾相關性、產(chǎn)品導航相關性來保持潛在用戶從興趣到使用產(chǎn)品的注意力。
3. 清晰度：通過提高信息層級、設計、文案、用戶召喚行為四個方面的清晰化，來保障頁面清晰度。高清晰的溝通是可以清楚并快速傳達你價值主張和用戶召喚行為，讓用戶通過更低認知學習成本的使用產(chǎn)品。
4. 緊迫性：緊迫性是和決定周期的長短相關的，通過優(yōu)化內在緊迫性、外在緊迫性，利用害怕失去的感覺，減少用戶決定周期的長度。
5. 焦慮性：通過優(yōu)化隱私焦慮感、可用性焦慮感、完成性焦慮感，將焦慮感來源最小化，把焦慮感轉化成優(yōu)勢來刺激用戶行為。
6. 注意力分散：當面臨太多選擇的時候，人們因為無法選擇而放棄。通過聚焦第一印象注意力。把最重要的事件牢牢印在用戶的腦海里。

步驟二：通過數(shù)輪數(shù)據(jù)分析提升假設質量

通過定量數(shù)據(jù)、定性數(shù)據(jù)、實踐案例中找到多個初步假設，此時我們可以通過多輪的數(shù)據(jù)分析，排除掉不靠譜的假設，找到新的證據(jù)支持某些更有力的假設，也可能通過分析找到新的假設，提升假設的質量。

第三步：形成實驗假設

先通過一個案例來分辨一下什么是清晰的實驗假設。

• 假設1：發(fā)布公號文章可以帶來新用戶。
• 假設2：發(fā)布公號文章可以帶來100個新用戶。
• 假設3：發(fā)布1篇原創(chuàng)公號文章可以帶來100個新用戶。
• 假設4：發(fā)布1篇原創(chuàng)公號文章2周內可以帶來100個新用戶。
• 假設5：發(fā)布1篇關于產(chǎn)品增長的原創(chuàng)公號文章2周內可以帶來100個新用戶，因為這篇文章會給大家介紹產(chǎn)品增長的核心模型。

從上述假設就可以發(fā)現(xiàn)，一個清晰的假設是實驗成功的基礎前提。

實驗假設的輸出標準：

產(chǎn)生實驗想法時的兩種常見狀況：

可能對實驗并沒有好的想法，這時候可以通過團隊的力量來推動實驗想法的產(chǎn)出。比如：

• 競品分析：團隊內每位成員選擇一到兩個產(chǎn)品的重要流程進行演示，然后進行內部討論，記錄有參考價值的案例和想法。
• 頭腦風暴：團隊內針對某實驗目標，進行腦暴，產(chǎn)品實驗想法集。
• 問題風暴：針對某一主題，進行問題風暴。提出并收集問題。歸類問題并優(yōu)化問題，評選出最重要的問題。通過數(shù)據(jù)分析或實驗尋找問題結論。

團隊已經(jīng)有很多想法，需要對這些想法進行優(yōu)化?？梢酝ㄟ^實驗想法庫來進行管理。

三、優(yōu)先級排序：ICE模型

1. ICE模型概述

ICE模型通過將大量的實驗想法放在影響范圍（Impact），成功概率（Confidence），實現(xiàn)程度（Ease）三個維度下進行粗略的評分，得到增長實驗假設的優(yōu)先級進行排序。

ICE 各項指標的打分依據(jù)：

• 預期影響（Impact）：實驗能影響用戶的覆蓋度。實驗成功后，指標提升幅度。
• 成功概率（Confidence）：數(shù)據(jù)的支持力度
• 實現(xiàn)難易（Ease）：完成實驗所需成本的消耗程度。

案例：ICE 模型打分表

從上述打分，可以得到「酒店詳情頁加入“全網(wǎng)最低價”的文案提醒」這個實驗想法的優(yōu)先級最高?？梢詢?yōu)先進行增長實驗。

2. 擴大影響范圍

大多數(shù)實驗都沒有覆蓋足夠的用戶，絕大多數(shù)核心產(chǎn)品團隊只關注核心用戶。然而

• 核心用戶可能只占活躍用戶比例25%以下。
• 活躍用戶只占所有注冊用戶比例50%以下。
• 注冊用戶可能僅占所有登錄過產(chǎn)品但未成為注冊用戶的訪客的20%以下。
• 而接觸過產(chǎn)品的渠道訪客遠小于外部渠道所影響的用戶體量（外部渠道過客）。

因此如果僅關注核心用戶，那么實驗的影響力會十分局限。所以擴大增長實驗的影響力的本質就是盡可能的覆蓋更多的用戶。在這里我們可以通過主動擴大群體覆蓋面，關注非核心用戶和從流量高的頁面或路徑進行多次實驗的方法擴大實驗的影響范圍。

3. 提升實現(xiàn)程度

提升容易程度即降低實驗成本，最好的方式就是通過 MVP的方式以最低成本驗證實驗假設。而設計增長實驗MVP時需要考慮如何投入最小資源，最快證明實驗假設。實驗是否可以提供可信的有效的結果，不能因為過度的實驗簡化和成本縮減而影響了實驗的可信有效程度。

案例：通過 MVP 驗證實驗假設：根據(jù)不同的用戶畫像，制定個性化注冊流程。更好的滿足用戶需求。

這里要注意的是ICE模型僅僅是一個優(yōu)先級排序的參考框架。并不是一門絕對精確的排序算法。不要消耗太多的時間成本去追求完美，而要不斷的提高實驗頻率和次數(shù)來確保實驗性價比。

文源：楊三季

特別提示：關注本專欄，別錯過行業(yè)干貨！

PS：本司承接 小紅書推廣/抖音推廣/百度系推廣/知乎/微博等平臺推廣：關鍵詞排名，筆記種草，數(shù)據(jù)優(yōu)化等；

咨詢微信：139 1053 2512 (同電話) 

首席增長官CGO薦讀：

• 《小紅書推廣：筆記排名，KOC種草，達人筆記，數(shù)據(jù)優(yōu)化》
• 《基于場景運營的價值和核心邏輯｜磊叔的數(shù)據(jù)增長實驗室》
• 《抖音推廣：抖音關鍵詞排名，抖音種草，抖音數(shù)據(jù)監(jiān)測》

更多精彩，關注：增長黑客（GrowthHK.cn）

增長黑客（Growth Hacker）是依靠技術和數(shù)據(jù)來達成各種營銷目標的新型團隊角色。從單線思維者時常忽略的角度和高度，梳理整合產(chǎn)品發(fā)展的因素，實現(xiàn)低成本甚至零成本帶來的有效增長…