某知名證券公司優(yōu)化登錄流程，采用系統(tǒng)灰度發(fā)布形式

公司簡介

作為某知名保險(xiǎn)企業(yè)旗下重要成員，該公司于1995年10月經(jīng)中國人民銀行批準(zhǔn)正式成立，注冊地為北京，公司總部設(shè)在深圳。憑借母公司的雄厚資金、品牌和客戶優(yōu)勢，秉承”穩(wěn)中思變，務(wù)實(shí)創(chuàng)新”的經(jīng)營理念，該公司建立了非常完善的合規(guī)和風(fēng)險(xiǎn)控制體系，各項(xiàng)業(yè)務(wù)均保持著強(qiáng)勁的增長態(tài)勢，目前已經(jīng)成長為國內(nèi)主流券商之一。2006年，經(jīng)中國證券業(yè)協(xié)會(huì)評審?fù)ㄟ^，該公司成為“創(chuàng)新類”券商之一。在“2007世界金融實(shí)驗(yàn)室年度大獎(jiǎng)”評選中，該公司榮獲“中國最值得信賴的十大證券公司”稱號。

案例背景

為了簡化登錄流程，進(jìn)一步優(yōu)化用戶操作，產(chǎn)品部門即將上線新功能，即用戶輸入賬號后，系統(tǒng)自動(dòng)選擇交易類型登錄。但考慮到全量上線可能會(huì)給后臺服務(wù)器造成過大壓力，導(dǎo)致用戶體驗(yàn)受到不良影響，產(chǎn)品部門決定采用 灰度發(fā)布 的形式發(fā)布新功能。

測試方案

AppAdhoc A/B Testing采用科學(xué)的試驗(yàn)流量分割，使得每一組試驗(yàn)對象具備一致的用戶特征。同時(shí)，平臺還支持灰度發(fā)布的功能，企業(yè)可在試驗(yàn)過程中隨時(shí)調(diào)整用戶流量，在版本穩(wěn)定無bug的前提下，逐步擴(kuò)大新版的使用群體，完成產(chǎn)品新功能發(fā)布的平穩(wěn)過渡。

本次試驗(yàn)采用灰度發(fā)布的方式，分批導(dǎo)入用戶流量，初始分配流量5%，在保證新功能使用流暢無bug的前提下，逐步按照10%、20%、50%調(diào)整流量，直至放量給全部用戶。定義主要優(yōu)化指標(biāo)為：次日留存率、周留存率。

測試目標(biāo)

此次試驗(yàn)主要用于測試新功能的用戶使用情況，檢驗(yàn)新方案有無bug，并觀察主要指標(biāo)。在保證用戶使用正常的前提下，判斷新功能是否對用戶體驗(yàn)有積極影響，根據(jù)數(shù)據(jù)反饋逐步調(diào)整新功能的用戶流量，最終做出產(chǎn)品功能的上線決策。

A/B測試數(shù)據(jù)反饋

本次試驗(yàn)在安卓和iOS端分別運(yùn)行，每個(gè)移動(dòng)端對應(yīng)兩個(gè)不同的試驗(yàn)版本。通過AppAdhoc A/B Testing的灰度發(fā)布功能，此次試驗(yàn)在上線一個(gè)月左右之后，試驗(yàn)數(shù)據(jù)結(jié)果趨于穩(wěn)定，產(chǎn)品部門在分析過后得到了他們想要的答案。

-用戶對新功能的反響很好，從試驗(yàn)數(shù)據(jù)來看，用戶的次日留存率和周留存率都一定提升；

-在試驗(yàn)進(jìn)行過程中，新功能未發(fā)現(xiàn)顯著bug，同時(shí)服務(wù)器壓力得到了有效緩解；

-產(chǎn)品部門根據(jù)數(shù)據(jù)反饋，發(fā)現(xiàn)新功能的上線給產(chǎn)品帶來了積極的數(shù)據(jù)改變，于是決定正式上線該功能。

特別說明：由于該公司相關(guān)隱私保護(hù)要求，本案例暫不公開該公司或產(chǎn)品的具體名稱。

Growth Hacker：介于技術(shù)和市場之間的新型團(tuán)隊(duì)角色~~