神策數(shù)據(jù)：游戲企業(yè)如何做產(chǎn)品A/B測試？三大案例一次搞懂

A/B 測試是游戲行業(yè)常用的數(shù)據(jù)試驗方法，特別是有過游戲出海經(jīng)歷的企業(yè)，都嘗試過 A/B 測試：

• 商店 A/B 測試：在 Google Play 開發(fā)者后臺，通過 A/B 測試挑選最合適的游戲圖標(biāo)、商店圖、商店視頻和商店文案；
• 廣告投放 A/B 測試：在 Facebook 投放廣告素材時，通過 A/B 測試發(fā)現(xiàn)哪一個受眾群體可以創(chuàng)造更高廣告價值；進(jìn)行廣告投放的優(yōu)化，確認(rèn)哪一種投放方式/投放素材可獲得最佳成果；
• 廣告變現(xiàn) A/B 測試：在變現(xiàn)聚合平臺調(diào)試廣告變現(xiàn)時，通過 A/B 測試尋找更合適的 Waterfall 配置等，尋找最佳的廣告觸發(fā)時機(jī)、廣告觀看獎勵、廣告播放形式等；
• 產(chǎn)品 A/B 測試：在游戲產(chǎn)品研發(fā)與運營過程中，測試美術(shù)設(shè)計，如按鈕用什么顏色、什么形狀，NPC 用什么造型、技能特效、抽卡表現(xiàn)等；
• 測試新手引導(dǎo)，調(diào)整新手階段的節(jié)奏、難度和特定的關(guān)卡設(shè)計；
• 測試界面布局，如商城界面布局，包括順序、大小、顏色和邊框等；
• 測試產(chǎn)品定價，確定哪些定價的硬通貨或者禮包對玩家更有吸引力；
• 測試變現(xiàn)入口，確定合適的變現(xiàn)入口，使得既可以獲得可觀的收益又不影響玩家體驗；
• 測試玩法機(jī)制，找到更吸引玩家的玩法，如調(diào)整 PVE 通關(guān)獎勵領(lǐng)取方式能否提升玩家體驗深度，副本增加隨機(jī)隱藏 BOSS 能否吸引玩家再次挑戰(zhàn)，PVP 不同匹配策略對玩家參與積極性有什么影響。

本文將圍繞游戲產(chǎn)品 A/B 測試，幫助游戲企業(yè)及時了解每一個重要變動帶來的是積極還是消極影響，從而實現(xiàn)在版本迭代時達(dá)到更好的留存和收益。

接下來通過三個真實實踐案例，講述神策數(shù)據(jù) A/B 測試如何幫助游戲企業(yè)解決玩家轉(zhuǎn)化與參與度的問題。

案例一：限時活動 A/B 測試，玩家游戲進(jìn)度大幅提升

某款休閑游戲上線一段時間后，玩家付費逐漸乏力。策劃同學(xué)希望通過優(yōu)化限時活動，刺激玩家付費，進(jìn)而提升 LTV。目前限時活動設(shè)計為：玩家在限定時間通過指定數(shù)量活動關(guān)卡即可領(lǐng)取活動獎勵。玩家挑戰(zhàn)活動關(guān)卡需要消耗體力、攻防增益等道具。道具不足時，可以通過內(nèi)購商城、觀看廣告兩種方式來及時補(bǔ)充。策劃同學(xué)希望通過在活動中加入一些社交競爭元素，借助相互攀比的心態(tài)，激勵玩家盡早通關(guān)活動關(guān)卡，提升收益（短期內(nèi)消耗更多付費道具）。

在以往實踐中，將社交競爭元素用排行榜的形式來展現(xiàn)效果會更好。因此策劃同學(xué)設(shè)計了三版排行榜展示策略：

1、為玩家展示相同地區(qū)其他玩家的活動進(jìn)度；

2、為玩家展示相似水平段位其他玩家的活動進(jìn)度；

3、為玩家展示相近剩余體力其他玩家的活動進(jìn)度。

同時，通過 A/B 測試進(jìn)行策略驗證——將玩家分為對照組和三個試驗組，各組玩家只能看到所屬組的排行榜展示形式：

• 對照組：此組玩家將不會被展示進(jìn)度排行榜
• 試驗組 1：此組玩家將會被展示相同地區(qū)玩家的進(jìn)度排行榜
• 試驗組 2：此組玩家將會被展示相似水平段位玩家的進(jìn)度排行榜
• 試驗組 3：此組玩家將會被展示相近剩余體力玩家的進(jìn)度排行榜

圖 神策數(shù)據(jù) A/B 測試設(shè)置試驗分組界面

然后，篩選試驗受眾玩家為“活躍玩家”，設(shè)置試驗核心指標(biāo)為“活動時間段內(nèi)的人均收益”，設(shè)置試驗輔助指標(biāo)為“活動參與率”。

接下來，在進(jìn)行為期一周的觀察之后，發(fā)現(xiàn)試驗組 2 的置信區(qū)間在【+4.69%，+9.54%】，核心指標(biāo)有顯著提高，因此，產(chǎn)品團(tuán)隊將試驗組 2 的版本確定為最新可發(fā)布版本。

在該過程中，神策數(shù)據(jù) A/B 測試解決方案能夠幫助游戲企業(yè)結(jié)合用戶行為分析，確定應(yīng)對用戶變化的最優(yōu)解決方案，最大化提升價值產(chǎn)出與效率。

案例二：通關(guān)獎勵展示形式的 A/B 測試，強(qiáng)化玩家粘性與游戲深度

某 RPG 游戲希望通過調(diào)整 PVE 關(guān)卡獎勵的領(lǐng)取方式，來提升玩家對 PVE 關(guān)卡獎勵的期待，刺激玩家持續(xù)參與關(guān)卡挑戰(zhàn)，從而提升玩家購買體力的可能性（挑戰(zhàn)關(guān)卡需要消耗一定體力）。當(dāng)前玩家順利通關(guān)時，會展示通關(guān)獎勵，同時獎勵道具直接進(jìn)入玩家包裹。針對此，策劃同學(xué)計劃在挑戰(zhàn)成功領(lǐng)取通關(guān)獎勵階段融入隨機(jī)機(jī)制，增加闖關(guān)樂趣，設(shè)計了兩種通關(guān)獎勵領(lǐng)取方式：

1、通關(guān)成功后，為玩家彈出大轉(zhuǎn)盤。玩家轉(zhuǎn)動轉(zhuǎn)盤后，可以獲得指針停留的道具，大轉(zhuǎn)盤內(nèi)的道具與直接展示相同；

2、通關(guān)成功后，為玩家彈出三個寶箱。玩家可以選擇任一寶箱獲取里面的獎勵，選擇之前無法看到寶箱內(nèi)道具信息，寶箱內(nèi)道具配置與直接展示相同。

為了快速識別到最優(yōu)的通關(guān)獎勵領(lǐng)取方式，策劃同學(xué)通過 A/B 測試觀察各個策略的數(shù)據(jù)結(jié)果輔助決策，將玩家分為對照組和兩個試驗組，各組玩家只能看到所屬組的獎勵領(lǐng)取方式：

• 對照組：直接展示關(guān)卡獎勵，玩家直接領(lǐng)取獎勵
• 試驗組 1：以轉(zhuǎn)盤形式展示獎勵，玩家通過旋轉(zhuǎn)轉(zhuǎn)盤領(lǐng)取獎勵
• 試驗組 2：以三寶箱形式展示獎勵，玩家通過選擇任一寶箱領(lǐng)取獎勵

在該試驗中，篩選試驗受眾用戶為“新注冊玩家”，試驗核心指標(biāo)為“人均關(guān)卡通過次數(shù)”，試驗輔助指標(biāo)為“人均在線時長”，綜合觀察指標(biāo)變化后，發(fā)現(xiàn)試驗組 1 玩家平均通過關(guān)卡次數(shù)為 11.91 次，試驗組 2 玩家平均通過關(guān)卡次數(shù)為 12.27，均明顯高于對照組直接展示關(guān)卡獎勵的 11.2 次。因此，該游戲團(tuán)隊將試驗組 2 作為正式版本對外發(fā)布。

案例三：新手限時禮包展示時長的 A/B 測試，有效提升玩家購買率

某策略游戲的策劃團(tuán)隊對于新手限時禮包的購買率不太滿意，希望通過策略優(yōu)化實現(xiàn)購買率提升。

目前，該游戲的新手禮包限購時長為 3 天，因此，策劃同學(xué)計劃通過調(diào)整禮包限購時長來營造緊張感，刺激玩家購買，從而提升禮包購買率。按照這一思路，策劃同學(xué)設(shè)計了一次 A/B 試驗，將當(dāng)前限時 3 天購買的新手禮包作為對照組，將限時 2 天購買的新手禮包作為試驗組 1，將限時 1 天購買的新手禮包作為試驗組 2，將限時 7 天購買的新手禮包作為試驗組 3。各組禮包內(nèi)的道具都一樣。

在進(jìn)行試驗的過程中，篩選試驗受眾用戶為“新注冊用戶”，設(shè)置試驗核心指標(biāo)為“禮包購買率”，設(shè)置試驗輔助指標(biāo)為“禮包查看次數(shù)”。

經(jīng)過觀察與分析試驗效果發(fā)現(xiàn)，對照組與試驗組的禮包購買率分別如下：

可以看出，試驗組 2 的禮包購買率相較于對照組提升明顯，能夠最大限度滿足此次改版需求。

此次試驗中，該游戲企業(yè)通過神策數(shù)據(jù)的 A/B 測試解決方案，能夠覆蓋完整用戶操作觸點，并得益于 One ID 映射方案，輕松實現(xiàn)用戶跨端識別。與此同時，運營同學(xué)可以將一份流量克隆為多份，流量復(fù)用，面向同一個玩家同時進(jìn)行多個試驗；也可以將一份流量分割為多份，分配給多個試驗使用，同時保證各試驗流量相互隔絕，保持流量互斥；除此之外，還可以將一份流量拆分為多組，分配給多個試驗版本使用，并靈活調(diào)整各組分配比例，基于此實現(xiàn)一份流量、多份使用，大幅提升試驗并行數(shù)量。

綜上，神策數(shù)據(jù) A/B 測試能夠幫助游戲企業(yè)在研運過程中，以更低成本做更多、更精準(zhǔn)的試驗，驅(qū)動科學(xué)決策的誕生。