2023年6月28日发(作者：)

A/B

质量管理部

邓婷

2018年1月

测试调研报告

目录

1.A/B测试是什么？ ........................................................................................................................ 3

2.A/B测试可以应用在哪些场景？ ................................................................................................. 4

3.A/B测试是否可以用在贯众产品上？ ......................................................................................... 4

4.A/B Testing 可以支持哪些优化需求？ ....................................................................................... 4

5.A/B Testing 使用流程是什么？ ................................................................................................... 5

/H5，iOS，Android平台的A/B测试是如何测试的？ ....................................................... 6

7.A/B测试试验后会告诉我们什么样的结果？ ............................................................................. 6

8.A/B测试常见的问题点？............................................................................................................. 7

1.A/B测试是什么？

A/B测试的本质是分离式组间试验，也叫对照试验，在科研领域中已被广泛应用（它是药物测试的最高标准）

简单来说，A/B测试在产品优化中的应用方法是：在产品正式迭代发版之前，为同一个目标制定两个（或以上）方案，将用户流量对应分成几组，在保证每组用户特征相同的前提下，让用户分别看到不同的方案设计，根据几组用户的真实数据反馈，科学的帮助产品进行决策。

A/B测试的应用方式决定了它拥有的三大特性：先验性、并行性和科学性。



先验性： A/B测试其实是一种“先验”的试验体系，属于预测型结论，A/B 测试是通过科学的试验设计、采样样本代表性、流量分割与小流量测试等方式来获得具有代表性的试验结论，这样就可以用很少的样本量就能推广到全部流量可信。

 并行性： A/B测试是将两个或以上的方案同时在线试验，这样做的好处在于保证了每个版本所处环境的一致性，便于更加科学客观地对比优劣。



科学性： 是指流量分配的科学性，A/B 测试的正确做法，是将相似特征的用户均匀的分配到试验组中，确保每个组别的用户特征的相似性，从而避免出现数据偏差，使 得试验的结果更有代表性。

2.A/B测试可以应用在哪些场景？

 Web/H5 页面

产品的官网页面（不论是PC端还是移动端）始终是用户了解产品的重要渠道，因此，如何激发用户产生进一步行为意愿，从而得到更高的注册率、购买率、下载率等，是Web端页面优化的首要目标，利用A/B测试，可以在较少的成本支出下，找到页面的最佳展现方法。

 APP用户体验

随着C端用户的海量进入，产品的复杂度越来越高，保持产品核心业务数据稳步增长是每个App的版本目标，通过A/B测试在每个版本正式发布之前验证版本的数据表现，让每次迭代都能得到确定性增长。

3.A/B测试是否可以用在“贯众”产品上？

尽管A/B 测试可以弥补产品优化中遇到的不足，但它并不完全适用于所有的产品。因为A/B 测试的结果需要大量数据支撑，日流量越大的网站或APP得出结果越准确。通常来说，建议在进行A/B测试时，能够保证 每个版本的日流量在1000个UV以上 ，否则试验周期将会很长，或很难获得准确（结果收敛）的数据结果推论。

因此A/B测试目前可适于用贯众产品，但目前日访问量不足，数据可能会不准确。

4.A/B Testing 可以支持哪些优化需求？

A/B Testing适用于从前端优化（包括Web/H5，iOS，Android）到后端流程优化（包括功能测试、推荐算法优化等），还可以根据实际情况灵活配置（包括Java，，Python语言和Restful API接口等），满足全方位的优化需求

以下主要对前端优化进行图示说明：

5.A/B Testing 使用流程是什么？

试验的前提是您的产品已经集成了相关的SDK（SDK可参考相关的集成文档），这样A/B Testing才能对试验进行实时监控，帮助您选出最优版本。

A/B Testing 使用流程图如下图：

/H5，iOS，Android平台的A/B测试是如何测试的？

A/B测试主要分以下两种测试模式：



可视化模式测试： 针对单个页面，进行简单的图片、文本替换和编辑，元素位置移动等操作，完全通过界面操作生成试验方案，此模式适用于比较独立的页面，局部的测试内容，只要网页中或APP集成了SDK，就不再需要进行代码工作。

可视化模式流程图：



编程模式测试： 使用SDK中给出的API来定义试验版本和统计事件，功能灵活，能够生成更加复杂的测试方案。

7.A/B测试试验后会告诉我们什么样的结果？

试验开始运行后一段时间，可以登陆AppAdhoc A/B Testing查看试验数据，进入「概况」页面可以查看当前应用的总体试验流量趋势、流量占用状态，以及流量走势图；此外，还可以在页面下方找到想要监控的试验。

为了避免流量过小而造成的结果偏差，用户可以根据自身情况，由小到大逐步增加流量分配，判断当前流量分配的数据结果是否具有普遍意义，最终选出最优版本。

8.A/B测试常见的问题点？

 怎么判断一个试验是否已经达到成熟的试验结果？

一般来说，为了获得更加可信的数据结果，试验运行周期应至少保证1-2个完整的自然周，如果遇到节假日，运行周期应适当延长

 如果同时进行多个试验，不同试验之间会不会发生冲突？

未分层试验：试验间的流量互斥，所有试验共用100%的流量，不同试验之间不会发生冲突。

分层试验：用户需注意设定分层条件，否则有可能会发生不同试验之间的冲突。

 是否可以修改正在运行中的试验？

为保证试验结果科学性，不允许在试验过程中修改版本

 停止的试验是否能重新开始？

试验停止后，显示的指标数据是在完整的试验周期内收集的。而在试验停止的时间段内，市场环境、用户群体等都可能会发生变化，不能保证试验数据的无缝衔接，因此，为了保证试验数据参考价值，支持将已停止的试验重新开启。

 将试验完全停止后，用户看到的是哪个版本？

当试验选出最佳版本后，AppAdhoc A/B Testing支持“一键发布”新版本给所有用户，用户会在无感知的情况下，使用全新版本，无需经过应用市场审核，如果想进一步保证用户的良好体验，可以在新版本发布的同时，通过自己的用户沟通渠道通知用户。

若未使用“一键发布”功能，停止试验后，所有流量自动回归到当前试验的原始版本，用户将重新看到原始版本。