實(shí)驗(yàn)引爆用戶增長(zhǎng)：A/B測(cè)試最佳實(shí)踐

在互聯(lián)網(wǎng)下半場(chǎng)競(jìng)爭(zhēng)中實(shí)現(xiàn)科學(xué)增長(zhǎng)，切實(shí)讓A/B測(cè)試發(fā)揮增長(zhǎng)引擎的作用是應(yīng)有之義。在本文中，陳冠誠(chéng)將為我們分享A/B測(cè)試對(duì)業(yè)務(wù)轉(zhuǎn)化率提升帶來的價(jià)值，以及如何在團(tuán)隊(duì)中有效推進(jìn)A/B測(cè)試及A/B測(cè)試系統(tǒng)科學(xué)設(shè)計(jì)實(shí)踐等內(nèi)容。

[title]今日頭條增長(zhǎng)秘籍：A/B測(cè)試驅(qū)動(dòng)[/title]

抖音可以說是現(xiàn)在增長(zhǎng)最火熱的公司，流行于大街小巷行走的人們手機(jī)之中，它讓騰訊感到深深的危機(jī)感，被迫應(yīng)對(duì)，從2017年下半年開始，抖音就呈現(xiàn)出現(xiàn)象級(jí)爆發(fā)式增長(zhǎng)。其母公司字節(jié)跳動(dòng)，估值750億美元，本身就是一個(gè)非常講究實(shí)驗(yàn)、以A/B測(cè)試驅(qū)動(dòng)科學(xué)增長(zhǎng)的公司。A/B測(cè)試對(duì)頭條系產(chǎn)品來講是很自然的事情，整個(gè)公司從最高管理層張一鳴開始就非常注重。36Kr曾在一篇報(bào)道中寫道，“頭條發(fā)布一個(gè)新APP，其名字都必須打N個(gè)包放到各大應(yīng)用市場(chǎng)進(jìn)行多次A/B測(cè)試而決定，張一鳴告訴同事：哪怕你有99.9%的把握那是最好的一個(gè)名字，測(cè)一下又有神馬關(guān)系呢？”

今日頭條從起名字開始就運(yùn)用了數(shù)據(jù)思維，創(chuàng)始團(tuán)隊(duì)沒有頭腦風(fēng)暴，沒有投票，沒有老大拍板兒，而是采用科學(xué)實(shí)驗(yàn)的方式，通過數(shù)據(jù)觀測(cè)確定了頭條的名稱。他們將App Store上各類免費(fèi)榜單的前10名整理出來，然后根據(jù)名字歸類（朗朗上口白話類，內(nèi)涵情懷類，模擬特殊聲音類，公司名+用途類等），分析那各類數(shù)量占比。分析結(jié)論是朗朗上口的大白話效果最好。其次，分渠道A/B測(cè)試，確定先驗(yàn)效果類似的發(fā)布渠道，分別投放，界面功能logo完全一樣，統(tǒng)計(jì)各個(gè)渠道的用戶下載和活躍等核心數(shù)據(jù)指標(biāo)，最后測(cè)得《今日頭條》效果最好。

[title]什么是A/B測(cè)試？[/title]

A/B 測(cè)試是一種產(chǎn)品優(yōu)化的方法，為同一個(gè)優(yōu)化目標(biāo)制定兩個(gè)方案（比如兩個(gè)頁面），讓一部分用戶使用 A 方案，同時(shí)另一部分用戶使用 B 方案，統(tǒng)計(jì)并對(duì)比不同方案的轉(zhuǎn)化率、點(diǎn)擊量、留存率等指標(biāo)，以判斷不同方案的優(yōu)劣并進(jìn)行決策。

上面圖示就是一個(gè)典型的A/B測(cè)試范例。在A/B測(cè)試比較成熟的公司中，可能并不局限于只有A、B兩個(gè)版本，可能會(huì)有ABC測(cè)試、ABCD測(cè)試，甚至是ABCDE測(cè)試。有一些情況，可能會(huì)出現(xiàn)比較特殊的A/B測(cè)試，比如說AAB測(cè)試，因?yàn)樾枰?yàn)證整個(gè)AB測(cè)試系統(tǒng)的準(zhǔn)確度，需要設(shè)置兩個(gè)對(duì)照組，所以叫AAB測(cè)試。不管同時(shí)運(yùn)行幾個(gè)實(shí)驗(yàn)，我們都可以將它們統(tǒng)稱為A/B測(cè)試，英文為ABtest或ABtest。

結(jié)合公開數(shù)據(jù)和行業(yè)深度調(diào)查，我們整理了行業(yè)A/B測(cè)試頻率概覽圖，其中可以看到，公司市值或體量與A/B測(cè)試頻率呈正相關(guān)關(guān)系。像谷歌等大體量公司，它本身具有較為成熟的A/B測(cè)試系統(tǒng)與數(shù)據(jù)分析平臺(tái)，平均每周A/B測(cè)試就多達(dá)2000個(gè)A/B測(cè)試，其中包括一些相對(duì)復(fù)雜的實(shí)驗(yàn)，如推薦算法A/B測(cè)試，也有相對(duì)簡(jiǎn)單的A/B測(cè)試。至于國(guó)內(nèi)BAT等一線互聯(lián)網(wǎng)公司，它們每周也會(huì)進(jìn)行上百個(gè)A/B測(cè)試。

在與我們合作的大部分公司當(dāng)中，行業(yè)分布廣泛，比如互聯(lián)網(wǎng)金融、電商、O2O等廠商，它們自身沒有能力和精力自研一套成熟的A/B測(cè)試平臺(tái)，所以他們選擇與Testin A/B測(cè)試合作，將A/B測(cè)試服務(wù)快速應(yīng)用到業(yè)務(wù)中。比如，某互聯(lián)網(wǎng)金融用戶，在使用Testin A/B測(cè)試前，每周只能做0.1個(gè)A/B測(cè)試，使用了云測(cè)A/B測(cè)試服務(wù)后，大大提升了A/B測(cè)試頻率，每周跑大概30個(gè)A/B測(cè)試實(shí)驗(yàn)。當(dāng)然，在其每周30個(gè)實(shí)驗(yàn)中，約有1/3的實(shí)驗(yàn)會(huì)取得轉(zhuǎn)化率指標(biāo)提升5%-30%的效果，剩余2/3的實(shí)驗(yàn)效果并不理想，未取得較好的數(shù)據(jù)指標(biāo)提升。

通過這個(gè)例子，我們可以看出，大概2/3的產(chǎn)品設(shè)想并不符合預(yù)期，就是說轉(zhuǎn)化率其實(shí)沒有原始版本好。這個(gè)也是為什么需要A/B測(cè)試的根本原因，憑借產(chǎn)品直覺去做產(chǎn)品決策，但2/3的改進(jìn)并不是最優(yōu)解。

上述圖表展示的是微軟必應(yīng)搜索引擎A/B測(cè)試增長(zhǎng)曲線，覆蓋Bing從2008年到2015年的時(shí)間的A/B測(cè)試實(shí)驗(yàn)增長(zhǎng)情況。可以看到，在Bing產(chǎn)品初期，每周A/B測(cè)試頻率維持在10~50個(gè)，到2012年之后，Bing A/B測(cè)試每周頻率進(jìn)入快速增長(zhǎng)。圖表右下角綠色曲線，是Bing移動(dòng)端的A/B測(cè)試頻率增長(zhǎng)曲線。通過該圖表，我們可以看到，Bing非?？粗夭⒄J(rèn)真實(shí)施A/B測(cè)試實(shí)驗(yàn)，以驅(qū)動(dòng)數(shù)據(jù)增長(zhǎng)，促進(jìn)業(yè)務(wù)發(fā)展。

[title]A/B測(cè)試應(yīng)用場(chǎng)景及案例[/title]

我們先看下A/B測(cè)試在移動(dòng)應(yīng)用中的四大應(yīng)用場(chǎng)景，分別是App、落地頁、后端算法和小程序。APP端是目前移動(dòng)互聯(lián)網(wǎng)增長(zhǎng)的主要載體，PC或H5(如常見的朋友圈刷屏活動(dòng))或者廣告投放落地頁面等則可以歸為落地頁，還有后端算法場(chǎng)景，如推薦算法、廣告算法、千人千面等等。目前增長(zhǎng)最快的應(yīng)用場(chǎng)景，則是小程序。

在不同的場(chǎng)景，A/B測(cè)試的側(cè)重點(diǎn)也有不同，但最核心目標(biāo)仍然都是圍繞業(yè)務(wù)的增長(zhǎng)展開，也就是大家所熟悉的「北極星指標(biāo)」，或者是 DAU、MAU等在A/B測(cè)試中設(shè)定的具體目標(biāo)。

案例一：相機(jī)拍照類應(yīng)用

以Camera360為案例，它選用Testin A/B測(cè)試服務(wù)幫助其進(jìn)行產(chǎn)品優(yōu)化決策。該案例是其產(chǎn)品商業(yè)化過程中的一個(gè)嘗試，希望提升商店中表情包或道具的付費(fèi)比例，但要完成付費(fèi)指標(biāo)，首先要提升商店入口點(diǎn)擊率。所以，他們?cè)O(shè)定了多個(gè)商店入口方案（更改圖標(biāo)樣式、文案），通過A/B測(cè)試來驗(yàn)證哪個(gè)方案可以最大化提升商店入口點(diǎn)擊率。在驗(yàn)證過程中，他們也針對(duì)人群目標(biāo)做了相關(guān)定向測(cè)試，如日本、中國(guó)、韓國(guó)等區(qū)域，最終他們針對(duì)這一入口同時(shí)上線7~8個(gè)測(cè)試版本，通過A/B測(cè)試，將整體點(diǎn)擊率提升了80%左右。

案例二

本案例為互聯(lián)網(wǎng)理財(cái)行業(yè)的App，他們期望通過更改簽到按鈕的文案提高簽到人數(shù)，從而提高留存率，按鈕文案由「簽到」改為「簽到賺錢」，并進(jìn)行A/B測(cè)試，為A、B版本分配了各5%的流量，在經(jīng)過測(cè)試后發(fā)現(xiàn)新版本的簽到次數(shù)比原始版本簽到次數(shù)提高4.17%，其中95%置信區(qū)間結(jié)果顯示小范圍人群的試驗(yàn)結(jié)果推廣到全量用戶之后，有95%概率獲得1.7% 至 6.6%的提升；p-value小于0.05，顯示新老版本有顯著統(tǒng)計(jì)差異，Power 為100%，說明統(tǒng)計(jì)功效顯著。通過這次簡(jiǎn)單的A/B測(cè)試，就極大提升了App留存率。本次測(cè)試，也借助Testin A/B測(cè)試的可視化功能，直接修改相關(guān)元素屬性就實(shí)現(xiàn)了對(duì)照功能，無需開發(fā)人員介入。

那產(chǎn)品什么時(shí)候需要A/B測(cè)試呢？我們知道進(jìn)行A/B測(cè)試需要成本，比如需要開發(fā)多套版本，需要搭建可用的A/B測(cè)試及數(shù)據(jù)分析平臺(tái)等。從投入產(chǎn)出比考慮，進(jìn)行A/B測(cè)試平臺(tái)有2個(gè)必要條件，一是產(chǎn)品決策影響大，二是產(chǎn)品方案選擇困難。如果某決策對(duì)產(chǎn)品影響很大，但選擇不困難，則沒有必要進(jìn)行A/B測(cè)試，比方是否決定給App增加微信及第三方登錄方式，這對(duì)產(chǎn)品影響很大但決策并不困難，因?yàn)闃I(yè)界已有常見的解決方案。再比方說，添加某很細(xì)小的功能，且該功能入口極深、用戶量不大，那么A/B測(cè)試優(yōu)先級(jí)也并不高。只有當(dāng)一個(gè)產(chǎn)品決策同時(shí)滿足影響大和選擇難這兩個(gè)條件的時(shí)候，才最適合進(jìn)行A/B測(cè)試。

拿我們自身進(jìn)行的測(cè)試來說，我們會(huì)基于功能影響大小、選擇困難程度，對(duì)要做測(cè)試的功能做好優(yōu)先級(jí)排序，然后判斷哪些功能要做A/B測(cè)試。

[title]A/B測(cè)試落地三要素[/title]

通過與我們的合作伙伴，如自如、36氪、子彈短信或51信用卡等眾多增長(zhǎng)團(tuán)隊(duì)交流，我們發(fā)現(xiàn)A/B測(cè)試做到落地有三大關(guān)鍵要素：

• 第一，人的因素，或者說整個(gè)團(tuán)隊(duì)的思維習(xí)慣、思維方式。
• 第二，業(yè)務(wù)流程，就是增長(zhǎng)工作流程。
• 第三，工具。

展開來說，在「人」的角度上，要求整個(gè)團(tuán)隊(duì)具備數(shù)據(jù)驅(qū)動(dòng)增長(zhǎng)、A/B測(cè)試驅(qū)動(dòng)決策的思維習(xí)慣，這是最重要的事情。同時(shí)，如果增長(zhǎng)或產(chǎn)品團(tuán)隊(duì)負(fù)責(zé)人本身不具備這種意識(shí)，認(rèn)為A/B測(cè)試無關(guān)緊要，比較依賴經(jīng)驗(yàn)進(jìn)行產(chǎn)品優(yōu)化決策，那么A/B測(cè)試做起來也很困難。

對(duì)APP也好，包括現(xiàn)在的小程序也好，新型產(chǎn)品層出不窮，產(chǎn)品面對(duì)的競(jìng)爭(zhēng)也異常激烈。加之目前互聯(lián)網(wǎng)流量紅利期逐漸結(jié)束，獲客成本增加，如果想繼續(xù)獲得業(yè)務(wù)增長(zhǎng)，目前最有效的辦法就是落地A/B測(cè)試、以數(shù)據(jù)驅(qū)動(dòng)增長(zhǎng)這一路徑。行業(yè)發(fā)展趨勢(shì)決定所有團(tuán)隊(duì)都會(huì)慢慢遷移到用科學(xué)的實(shí)驗(yàn)進(jìn)行增長(zhǎng)這條路上來，即使你現(xiàn)在的團(tuán)隊(duì)推進(jìn)A/B測(cè)試?yán)щy，但是我相信不遠(yuǎn)的將來，A/B測(cè)試將是最重要的產(chǎn)品增長(zhǎng)驅(qū)動(dòng)力。

作者曾與較多歐美增長(zhǎng)同行進(jìn)行過深入交流，有一個(gè)很深感受就是他們的互聯(lián)網(wǎng)企業(yè)中 A/B測(cè)試氛圍更強(qiáng)，主要因?yàn)槊绹?guó)人工成本相對(duì)較高，他們特別注重投入產(chǎn)出比，所以他們很早進(jìn)入到精細(xì)化運(yùn)營(yíng)階段。

在業(yè)務(wù)流程上，第一需要注意你的產(chǎn)品是什么形態(tài)，是依托APP、小程序、公眾號(hào)還是Web網(wǎng)站。不同的業(yè)務(wù)場(chǎng)景，A/B測(cè)試落地方案也會(huì)不一樣。第二，要考慮A/B測(cè)試是否很好融入到了產(chǎn)品迭代或增長(zhǎng)團(tuán)隊(duì)工作流程中去，最佳實(shí)踐就是做到將整個(gè)產(chǎn)品優(yōu)化迭代流程、發(fā)版節(jié)奏與A/B測(cè)試緊耦合，形成流水線作業(yè)，這也是BAT等公司能夠把A/B測(cè)試每周頻率做到那么高的原因。

在工具方面，一種是自研，另外一種是使用第三方服務(wù)。自研的話，在可控性、業(yè)務(wù)耦合方面有一定的優(yōu)越性，但對(duì)一般企業(yè)來講，其研發(fā)成本、人力成本很高，開發(fā)A/B測(cè)試服務(wù)還涉及到較為嚴(yán)格的數(shù)據(jù)統(tǒng)計(jì)，需要配置專業(yè)的數(shù)據(jù)分析師。如果使用目前市面上的第三方工具，比如Testin A/B測(cè)試服務(wù)，可以最大化降低成本、加速業(yè)務(wù)落地A/B測(cè)試服務(wù)。比如，某小程序用戶當(dāng)天接入Testin A/B測(cè)試服務(wù)后，當(dāng)天就運(yùn)行起三個(gè)A/B測(cè)試實(shí)驗(yàn)。無論是自研還是使用第三方工具，關(guān)鍵在于適合自身團(tuán)隊(duì)。

[title]A/B測(cè)試最佳流程實(shí)踐[/title]

A/B測(cè)試最佳流程，可分成四個(gè)步驟：

• 分析數(shù)據(jù)：分析現(xiàn)有原始版本的各項(xiàng)數(shù)據(jù)指標(biāo)，如注冊(cè)轉(zhuǎn)化率等，比如說注冊(cè)轉(zhuǎn)化率僅有10%，針對(duì)這一轉(zhuǎn)化率提出想法；
• 提出想法：比方說要改進(jìn)注冊(cè)流程，之前用戶需要輸入短信校驗(yàn)碼，計(jì)劃改成圖片校驗(yàn)碼，形成改進(jìn)備選方案。有了該基本假設(shè)后，預(yù)估大概率可以提升轉(zhuǎn)化率；
• 重要性排序：限于團(tuán)隊(duì)資源有限，無法把所有需求想法全部都去驗(yàn)證，這就需要做重要性排序，選擇最重要的這幾個(gè)改進(jìn)方案去做A/B測(cè)試，接著進(jìn)入第四步；
• A/B測(cè)試：在這個(gè)過程中，我們要監(jiān)測(cè)A/B測(cè)試數(shù)據(jù)，結(jié)果一般有兩種，一是數(shù)據(jù)證明實(shí)驗(yàn)無效，一是證明實(shí)驗(yàn)有效。我們經(jīng)過大量測(cè)試發(fā)現(xiàn)，大部分進(jìn)行的A/B測(cè)試實(shí)驗(yàn)，1/3被證明有效， 2/3被證明無效（與原始版本效果差別不大，或者比原始版本效果還壞）。

這里需要大家注意，不是所有的實(shí)驗(yàn)都會(huì)被證明對(duì)指標(biāo)增長(zhǎng)有顯著效果，如果是這樣，我們就沒有必要進(jìn)行實(shí)驗(yàn)了。如果遇到這種情況，需要告訴自己的團(tuán)隊(duì)成員不要灰心，正因?yàn)槟承?shí)驗(yàn)被證明無效，我們才會(huì)找到有效的增長(zhǎng)方式。實(shí)驗(yàn)失敗是大概率事件，我們最好的辦法就是增加測(cè)試頻率、持續(xù)測(cè)試，而非淺嘗輒止，又回到經(jīng)驗(yàn)主義決策的老路上。

如果你的團(tuán)隊(duì)從來沒有做過A/B測(cè)試，有三點(diǎn)建議給到大家：

• 第一，從最簡(jiǎn)單的文案A/B測(cè)試開始，比如說測(cè)試關(guān)鍵按鈕中不同文案的轉(zhuǎn)化率；
• 第二，多做團(tuán)隊(duì)間的經(jīng)驗(yàn)分享，多分享你的成功經(jīng)驗(yàn)，有效果的事情大家都愿意嘗試；不要天天去分享失敗的經(jīng)驗(yàn)，如果過多分享失敗經(jīng)驗(yàn)，會(huì)讓你包括你的團(tuán)隊(duì)對(duì)A/B測(cè)試產(chǎn)生質(zhì)疑，影響團(tuán)隊(duì)士氣；
• 第三，可以優(yōu)先使用第三方免費(fèi)的A/B測(cè)試工具，比如Testin A/B測(cè)試，目前支持App、Web/H5、小程序。

[title]企業(yè)A/B測(cè)試成熟度模型[/title]

上面介紹了落地A/B測(cè)試的三大關(guān)鍵因素，以及A/B測(cè)試的最佳實(shí)踐流程。在這部分，為大家分享企業(yè)A/B測(cè)試成熟度模型。我們把企業(yè)A/B測(cè)試分成四個(gè)階段，分別是起步階段、成長(zhǎng)階段、成熟階段和大規(guī)模應(yīng)用階段。該能力的成熟度最核心指標(biāo)，就是每周能做多少個(gè)A/B測(cè)試。

處于起步階段，平均每周能做0~1個(gè)A/B測(cè)試，整個(gè)組織架構(gòu)處于開始嘗試A/B測(cè)試階段，但內(nèi)部沒有成型的A/B測(cè)試實(shí)驗(yàn)平臺(tái)，仍使用最簡(jiǎn)單的分流方式和數(shù)據(jù)分析方法進(jìn)行實(shí)驗(yàn)。此時(shí)的A/B測(cè)試并不是一個(gè)標(biāo)準(zhǔn)的A/B測(cè)試，從實(shí)驗(yàn)評(píng)價(jià)體系角度來看，已經(jīng)設(shè)定一個(gè)最基本的指標(biāo)，比如說轉(zhuǎn)化率，但仍沒有體系化。何為體系化指標(biāo)？也就是從單一指標(biāo)演進(jìn)為多維度指標(biāo)體系，系統(tǒng)跟蹤實(shí)驗(yàn)對(duì)產(chǎn)品的多方面影響。

第三個(gè)階段就是相對(duì)比較成熟的階段，這個(gè)時(shí)候每周能做到3~10個(gè)測(cè)試，A/B測(cè)試已經(jīng)成為產(chǎn)品迭代流程的一部分，并需要可視化A/B測(cè)試，后端A/B測(cè)試等高級(jí)功能，以便滿足多樣的A/B測(cè)試需求。

在成熟和大規(guī)模應(yīng)用階段，提到了一個(gè)名詞OEC。OEC，可以理解成綜合評(píng)價(jià)指標(biāo)，可能是復(fù)合型指標(biāo)，在很多單項(xiàng)指標(biāo)通過加權(quán)平均后得到。 通過OEC的設(shè)定，指導(dǎo)整個(gè)組織的業(yè)績(jī)發(fā)展。

[title]A/B測(cè)試系統(tǒng)設(shè)計(jì)能力[/title]

上面分享了如何落地A/B測(cè)試。接下來，跟大家分享下設(shè)計(jì)一個(gè)典型的A/B測(cè)試系統(tǒng)，需要具備哪幾點(diǎn)能力或特征：

1. 科學(xué)流量分割：包括唯一性、均勻性、靈活性、定向性及分層分流。唯一性是指通過精準(zhǔn)且高效的Hash算法，確保單個(gè)用戶每次登錄應(yīng)用時(shí)被分到的試驗(yàn)版本是唯一的；均勻性，則是確保分流人群，各維度分配比例均勻；靈活性，則需要支持用戶隨時(shí)在實(shí)驗(yàn)的進(jìn)行過程中，調(diào)節(jié)實(shí)驗(yàn)版本之間的流量分配比例；定向性，則是可以根據(jù)用戶標(biāo)簽來實(shí)現(xiàn)精準(zhǔn)定向分流，如根據(jù)用戶設(shè)備標(biāo)簽及其他自定義標(biāo)簽特定分流；分層分流，則可以滿足并行進(jìn)行大量A/B測(cè)試需求。

這里重點(diǎn)介紹下為什么需要分層流量分割機(jī)制。如果沒有分層流量機(jī)制，則存在如下限制：

• 每個(gè)用戶最多只能參加一個(gè)A/B測(cè)試實(shí)驗(yàn)
• 多個(gè)實(shí)驗(yàn)不能同時(shí)使用全體用戶進(jìn)行測(cè)試，可能因?yàn)槿巳焊采w度不夠高導(dǎo)致結(jié)果偏差
• 每個(gè)實(shí)驗(yàn)的可用實(shí)驗(yàn)流量受限于其他正在進(jìn)行的實(shí)驗(yàn)，缺乏靈活的流量分配機(jī)制

有了分層流量分割機(jī)制，就可以很好地滿足并行進(jìn)行不同業(yè)務(wù)或不同場(chǎng)景，或者不同產(chǎn)品模塊之間的A/B測(cè)試需求。

2. 科學(xué)統(tǒng)計(jì)算法：

• 科學(xué)統(tǒng)計(jì)，使用科學(xué)的統(tǒng)計(jì)分析方法來對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分析，并給出可靠的試驗(yàn)結(jié)果；
• 區(qū)間估計(jì)，給出95%置信區(qū)間，避免點(diǎn)估計(jì)帶來的決斷風(fēng)險(xiǎn)；
• 統(tǒng)計(jì)顯著性判斷，通過p-value來判斷不同實(shí)驗(yàn)版本之間差異顯著性；
• 統(tǒng)計(jì)功效判斷，通過Power來判斷不同實(shí)驗(yàn)版本統(tǒng)計(jì)功效是否充足；
• 精益分析，對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行去噪音處理，去除噪音數(shù)據(jù)，以提高統(tǒng)計(jì)結(jié)果的質(zhì)量

文：陳冠誠(chéng)/云測(cè)數(shù)據(jù)（testindata）

首席增長(zhǎng)官CGO薦讀：

• 《產(chǎn)品經(jīng)理分享：資訊類APP如何利用工具驅(qū)動(dòng)增長(zhǎng)？》
• 《產(chǎn)品運(yùn)營(yíng)快速啟動(dòng) AB測(cè)試的 5 個(gè)步驟》
• 《從拼多多到瑞幸咖啡，增長(zhǎng)黑客們到底做對(duì)了什么？》

更多精彩，關(guān)注：增長(zhǎng)黑客（GrowthHK.cn）

增長(zhǎng)黑客（Growth Hacker）是依靠技術(shù)和數(shù)據(jù)來達(dá)成各種營(yíng)銷目標(biāo)的新型團(tuán)隊(duì)角色。從單線思維者時(shí)常忽略的角度和高度，梳理整合產(chǎn)品發(fā)展的因素，實(shí)現(xiàn)低成本甚至零成本帶來的有效增長(zhǎng)…