营销人员必看的增量测试手册

By Michal Wagner

如何确信您的广告花费是用得其所？如何知道您上线的广告对消费者行为带来了实际影响？

只有一种特定的数据衡量方法，能够对这个问题给出极为清晰的回答。

这就是增量测试。

增量测试可衡量真实的广告花费回报率，甚至还可将未曾衡量的数据进行衡量。那么，为什么说有一部分数据未曾衡量？

这是由于自然流量和付费转化的界限往往十分模糊。你付费获取的新用户，原本极有可能自然转化。增量测试就是将这个谜团澄清的最佳方法，助您了解营销活动的真实效果。

将付费广告暂停一周然后分析结果，增量测试远远不是这么简单，这类型的测试通常比较棘手。这篇文章向大家讲解如何计算增量，以及如何解读增量测试的结果。

我们还将激活后优化与末次点击归因的逻辑进行对比分析，让您对日益重要的增量测试有整体性的了解。

如何计算增量幅度？

增量测试将受众分为测试组和对照组。向测试组展示广告，对照组不展示广告。

通过衡量每组的测试结果，您就知道，不论是获客广告还是再营销广告，即使没有看到广告也会发生的转化有哪些。这就是增量幅度。

例如，Marco’s Pizzeria 推出了新款厚底披萨，打算测试广告效果。经过一个月向路人发放新款披萨优惠券，就可以衡量哪些人使用优惠券购买了新款披萨，哪些人并未使用优惠券购买了新款披萨。两组顾客之间的销售额差异，就是增量幅度。

三种增量测试的结果

增量测试的结果有以下三种可能性：

第一个例子中，我们看到测试结果显示增幅为正，说明你的付费广告产生了效果，提升了收入。

在第二个例子中，并没有带来增幅，实验结果为中立。广告虽然带来收入却没有带来增量价值，营销团队就需要考虑暂停投放该广告，或者尝试改变广告创意、定位不同受众群体等其他营销策略。

第三个例子中，我们看到增幅显示为负。这种情况虽然少见，但当广告效果差强人意，或由于过度再营销导致品牌声量变差的情况下，也是有可能的。营销人员也需要检查测试，确认各项参数是否配置正确。

那么，如何执行一项增量测试？

首先，我们来了解有哪些关键术语和指标。

以下是增量分析的相关术语，有助于我们了解增量测试的工作流程。

术语	定义
关键绩效指标（KPI）	一个可衡量的值，证明广告主应用达到其商业目标 KPI 的程度
对照组	对照组用户不会看到展示给测试组用户特定广告系列中的广告
测试组	测试组用户可看到特定广告系列中的广告
统计显著性	即对照组和测试组呈现的结果差异并非巧合的可能性
增量幅度	测试组与对照组的差异百分比

增量分析测试与一般科学实验类似：提出假设、方法论，收集结果并加以分析，得出结论。增量分析测试分为五个环节：设定目标、细分受众、启动测试、分析结果以及采取行动。我们来深入研究一下。

设定目标

开启增量测试之前，提出假设并设定 KPI 是很重要的。这项科学实验最终要证明什么，想明白这一点很重要。

您检验的是激活数、ROI、ROAS 还是别的指标？

细分受众

为一项再营销广告系列启动增量测试前，先选择一个受众群体，仔细地将受众进行分组，作为对照组。

提示：您使用的归因平台需具备支持按需细分受众、并设置广告系列的功能。

对照组和测试组应当具有相似的特征，但不能重叠。

针对获客广告进行测试时可能会比较麻烦，因为没有唯一标识符，我们无法识别受众。唯一的标识符有其存在的意义。一个诸如 ID 或代码的标识符能够将其与其他设备区分，因此是唯一的。

但是，我们仍可借鉴其他标识因素来细分受众，例如地理位置、时区、产品或人口统计学特征等参数。

启动实验

确定实验的持续时长和测试窗口期，然后启动实验。

经验证明，实验至少要持续一周以上。

测试窗口期，即测试启动前用户执行事件的天数，取决于你的 App 的业务模式和日常处理的数据量级。

增量测试和测试窗口需避开您的广告活动繁忙期，这样才能最精准地对比测试您的广告效果。

分析数据

收集完对照组和测试组的所有数据后，请根据您的目标进行汇总和比较，比对 KPI 的增量幅度。

理解对照组和测试组结果之间的关系，就能够解释增量幅度为何为正、负或持平。

如果您注意到对照组和测试组之间存在很大差异，很可能说明实验的配置存在问题，您可以尝试重新测试。

执行增量测试的工作难度较大，因此有的归因平台能够提供整合性的增量测试工具。所有的测试数据可以直接提取到归因平台中的增量报告面板，这项操作能够使得工作流程更加简化和高效。

采取行动

基于获取的信息，将洞察运用到你的广告投放中，最大限度发挥广告效果，包括但不限于为每个目标受众发送最佳讯息、再营销的最佳时机、最有效的媒体渠道等等。

衡量增量的两大方法

数据累积并经过汇总后，如何计算增量幅度？

主要有两种方法：

1）增量利润

精准计算某渠道的增量利润，是衡量增量幅度的一种方式。将该渠道的利润减去对照组利润，得出增量利润。

假设你为某个广告系列投入了 2000 美元。渠道 A 产生 5000 美元的利润，渠道 B 产生 3000 美元的利润。乍一看，两个渠道都带来了营收。但是，你的自然渠道已经带来了 3000 美元的利润，因此渠道 B 实际带来的增量利润为零。

渠道	广告花费	利润	增量利润
渠道 A	2000 美元	5000 美元	2000 美元
渠道 B	2000 美元	3000 美元	0 美元
自然	$ 0	3000 美元	不适用

了解对照组为您带来的利润，就能够得出，低于对照组利润的收入即等同于没有增量收入。

也就是说，即使没有对这些用户展示广告，他们一样为您带来了收入，因此您大可节省这部分预算并为效果更为理想的媒体渠道、营销渠道、广告系列等加大投资。

2）增量幅度

使用以下公式来计算增量幅度：

我们使用具体数值加以阐释。假设测试组带来 1 万个转化，对照组带来 8000 个转化。那么 1 万减去 8000 再除以 8000，得到 0.25。

将 25% 的增量幅度与您的 KPI 或 ROAS 进行比较，判断这样的增幅表现如何。

第一种方法是与成本数据做对比。将每行动成本（CPA）除以增幅，看结果是否高于或等于 LTV。

比如，你的 CPA 为 2 美元，除以 0.25 得到 8 美元。如果 LTV 高于 8 美元，那说明效果不错。如果低于 8 美元，建议您重新评估广告策略。

增量测试 vs. A/B 测试

您已经了解了增量测试的核心要义，可能会想，A/B 测试跟这个有什么不一样呢？

首先需要强调，增量测试本质上是 A/B 测试的一种。标准 A/B 测试将您的产品或广告分为 A 和 B 两种，然后将受众分为受众 1 和受众 2，然后将产品或广告的不同版本应用于不同的受众，看看哪种效果更好。

例如，受众 1 看到带有蓝色按钮的横幅，受众 2 看到相同的横幅但是按钮为红色。比较不同受众的横幅广告点击率是市场营销中标准的 A / B测试。

A/B 测试不同于增量测试的地方在于对照组，即这部分受众在测试期间没有看到任何广告。

回到上面的例子，增量测试可以告诉你投放一则广告的效果是否好过不投放，而 A/B 测试可以告诉你同一则广告，是蓝色按钮效果好还是红色按钮效果好。

那么，如何不向受众展示广告，但仍然占据该广告的广告位？

共有三种方法：

意向处理分析（ITT）：这种方法根据初始处理计划，而不是最终接受的处理计划来计算实验结果，即您事先将每个用户标记为测试组或对照组，而不是依赖于归因数据进行标记。您有“意向”向他们展示或不展示广告，但不能保证用户看到或未看到广告。
幽灵广告/竞价：这种方法也是随机分配受众，但区别在于，它是在广告投放前完成的。虽然对照组看不到用于测试的广告，但此过程模拟了向用户展示广告的过程，即广告投放（Ad Serving），但广告主无需为幽灵广告付费。这是自主进行增量测试的广告平台大多使用的一种策略。
公益广告（PSA）：向测试组和对照组均展示广告的广告位。向对照组展示一般性公益广告，向测试组展示其他广告，然后比较两组用户的行为，来计算增量幅度。

增量分析 vs. ROAS 优化

增量测试不是用来取代传统归因模型的。增量分析与归因流程配合工作，可帮助您更好地衡量绩效。

注意：如果您仅衡量激活，那么就无法真正了解 ROAS。

营销人员需要衡量一系列激活后指标并在此基础上优化，才能继续深入到漏斗转化的下一阶段。专注于 LTV 并且重点考量媒体成本，才能够看出你的 ROAS 是否为正。

在这样的框架下，增量分析可以告诉你，减少一定的广告花费仍可从自然用户获取同样的收入，ROAS 表现更上一层楼。

将测试组收入与对照组收入之间的差值除以广告总花费，得出 ROAS 的增量效应（即 iROAS）。从等式中去除自然转化，您可计算一则广告的真正效果并进行相应的优化。

例如，如果您的 iROAS 低于 100％，则可以将预算重新分配给效果更好的广告系列和渠道。如果 iROAS 高于等于 100％，则说明未出现自然流量蚕食效应，证明广告有效。

有了增量分析铺路，营销人员能够多一层关键信息用来优化 ROAS，解锁全部潜力。因此，仅衡量 ROI 或 ROAS，与看到您的广告活动对于广告花费的增量幅度或增量效应之间是有很大区别的。

增量测试的好处

执行增量测试的营销人员能够自信地展示其广告带来的效果，测试结果不仅能够让人直观看到对 iROAS 的影响，还可将这些洞察应用于未来的营销策略。

比如，在决定是否对某个渠道加大投入之前，可对其进行增量测试。还可将增量测试运用于规模较小的广告活动，看 ROAS 是否理想。如果得出令人满意的 ROAS，您就可以放心地加大该渠道的营销力度。

另外，增量测试对于创建再营销广告策略也非常好用。增量测试能够突出呈现激活后最理想的投放日期，与用户再次互动，确保您的再营销工作也实现最高增幅。

有了这些知识，营销人员就可以了解哪些渠道带来的效果最为显著，就可以作出更加明智地决定营销预算的走向。

增量测试的难点

任何一种方法都会有难度，增量测试也是如此。

创建对照组和测试组时， 消除可能影响用户行为的所有噪音以及外部因素十分重要。您还需要尝试清理数据，确保没有重叠的受众，这也可能会使结果产生偏差。

确定实验参数也具有一定的挑战性。每个应用的用户量级不同，因此您需着手于最合适的细分群组规模进行测试，同时又不对当前的广告活动造成干扰。

细分群组过小会导致您的测试结果不具统计意义，因此，您需要在实现最佳实验结果和维持较长测试时间的成本之间进行权衡。

将广告活动暂停一周或一月不是那么容易，如果不希望花费过多时间在测试上，我们建议暂时关停营销效果最弱的渠道，并在该渠道进行测试。

识别并排除逸出值也是非常重要的一步，因为逸出值带来数据偏差，导致错误结论。逸出值对于测试结果的影响也取决于数据的体量，因此数据体量也是设定实验基准的重要考量因素。

对季节性事件保持敏感度。黑色星期五、网购星期一、复活节等节假日都会对用户行为造成影响。因此，对于测试时间的选择也是一项重要的考量因素。

节假日期间得出的测试结果与非节假日的结果进行对比，将会呈现较大差异。营销人员需根据自身的商业模式和特定的用户行为趋势，选择最合适的测试时期。

最后，增量测试为软件工程提出了新的挑战。这些实验很复杂，需具备专业知识和专业技术的开发者才能产生最具有影响力的测试。

例如，对接每个渠道 API、接收并汇总所有原始数据，去除逸出值并计算测试结果的统计显著性需要大量的人力。

与提供增量分析工具的归因平台合作，有助于节省时间和金钱。数据全部呈现于归因平台，您就可以轻松细分并汇总数据，执行增量测试。

划重点

增量分析是一个强大的工具，可为您提供真正的洞察，科学证明您的渠道选择、预算分配和 ROAS 是正确的，确保您的营销活动能够发挥最大的潜力。

要达到这样的效果，需做到以下几点：

1）给予付费流量和自然流量全方位的关注，透彻理解两者之间的复杂关系。

2）确保您的数据未受到干扰。去除噪声数据、逸出值以及重叠受众，确保您的测试得出具有统计意义的结果。

3）创建广告系列之前，先定义您的 KPI，正确细分受众群体。

4）提取、汇总并对比数据，查看广告系列的增量幅度。

5）了解哪些渠道增幅最高，哪些类似受众群体更愿意接受广告，以及与用户再次互动的最佳时机，就能够优化预算分配，最大限度的提升 ROAS。

LTV 或 ROAS 驱动的优化对于衡量广告系列的价值至关重要，只有证明增量幅度，广告效果才能得到最终认可。

最后补充：隐私至上时代的衡量方案

作为 iOS 14 隐私保护策略的一部分，Apple ATT 框架极大程度上削弱了基于设备匹配进行衡量的能力。

但是，由于 Apple 的 SKAdNetwork 仅记录约 68％的非自然激活，其他的衡量方案包括概率性归因、网页至应用，以及增量分析可以用来填补这中间存在的衡量缺失，帮助您作出明智的、数据驱动的决策。