火山引擎DataTester：一个A/B测试，将一款游戏的核心收益提升了8%-品玩

火山引擎DataTester：一个A/B测试，将一款游戏的核心收益提升了8%-品玩业界动态

火山引擎DataTester：一个A/B测试，将一款游戏的核心收益提升了8%

随着社会节奏及生活方式的改变，休闲游戏在移动游戏市场的占比逐渐升高，据伽马数据发布的《2022年休闲游戏发展报告》显示，中国休闲游戏市场快速扩张，规模已从2018年的210亿元发展至300亿元以上，其中广告变现收入占比超过75%。

休闲游戏"短平快"的玩法设计，使得广告收入成为其主要盈利模式。这类游戏通常选择在流量平台进行分发，前期获客阶段可以实现用户的快速增长，当用户达到一定规模后，可以应用平台提供的广告主资源，完成游戏的广告变现。

一款游戏产品就通过火山引擎A/B测试产品DataTester，优化了游戏内“积分玩法”，既提升了用户的产品体验，又增加了游戏的盈利，使得该游戏产品核心收益整体提升超过8%。

休闲游戏通常将用户留存和收入指标为核心指标。游戏策划通过对终极指标的拆解，会在不同环节定向关注“新增留存、新增付费率、付费渗透率、付费ARPU”等游戏核心数值，并通过数据反馈，观察不同功能对游戏核心指标的正负向表现，有针对性地进行拉新、促活等运营手段。

基于此，相关游戏团队明确了核心游戏的玩法：

1.用户侧：玩家通过游戏对局、在线时长获得一定的平台积分奖励；

2.游戏侧：评估奖励成本，通过ARPU值量化平均每个用户贡献的业务收入，使得收入>成本。

A/B实验能够在游戏产品的调优中发挥重要的作用。DataTester可以持续帮助休闲游戏明确功能迭代的效果，观测游戏更新上线的影响，减少多个功能之间的交叉干扰；在当下激烈的市场竞争中，产品能够用相对较低的流量投入获得相对较高的营收，也是拉开休闲游戏差距的关键要素。

该游戏使用火山引擎DataTester，在用户游戏积分获取环节通过A/B实验测试了多种积分的发放方式，希望找到在盈利方面投入产出比最高的积分玩法。

游戏团队使用DataTester提供的“多组择优报告”能力，通过实验数据输出，可以直接展示“某组方案成为最优组的概率”，帮助业务方正确量化决策收益，降低数据分析的成本，让游戏公司避免花费高人力、高时间成本去进行策略收益分析。

在本案例的四组方案中，通过A/B实验观测到“实验组C”在用户留存、游戏盈利方面指标数据反馈更为优异，最终作为实验优胜组产品全量上线。据数据观测，“实验组C”的策略上线后，该游戏的用户留存指标及营收指标都有显著提升，产品核心收益整体提升超过8%。

DataTester孵化于字节跳动多年的业务实践中，在字节内部服务了500多条业务线，累计实验总量超过了150万次，每天同时运行的实验数有3万余个， 而且这些数字还在继续飞速上涨 。而今，DataTester由火山引擎对外开放服务，目前已服务了美的、得到、凯叔讲故事等在内的上百家外部企业，支持了多种业务场景需求，为业务的用户增长、转化、产品迭代、运营活动等各个环节提供了科学的决策依据，将成熟的“数据驱动增长”经验赋能给各行业。（作者：李文）