并排：比较两种绩效营销工具/代理商

作为绩效营销人员，我们有条件要进行所有测试。 从提要标题的影响到每个渠道的增量，我们希望确保在将所有资源投入到某件事之前做出正确的选择。

这决定了还要使用哪种工具/代理商。 将绩效营销活动从一种工具/代理机构转移到另一种工具/代理机构（或挑选一种工具/代理机构）是一项重大的承诺，您不应掉以轻心。

大多数（可能是所有）工具/代理商都声称做同样的基本事情：提高广告系列的效果。 他们执行此操作的方式或所使用的方**有所不同，但是由于有太多选择，您如何知道实际将交付的人？

为了帮助他们做出正确的决定，许多公司将要求在两个工具/代理商之间进行并行比较测试。 最近，我们被要求参加针对跨国体育零售商的另一种产品广告技术的对比比较测试。

我以最新的测试为例，为您提供一些技巧和建议，以进行准确的并行测试并获得最佳结果。

有明确的测试目的

无论您进行哪种测试，都需要确保自己有一个清晰的目标，即可以以确定且可衡量的方式回答的问题。

在这种情况下，零售商想知道用我们的Google购物解决方案替换现有工具是否会影响其利润。 为了衡量结果，他们为每种工具设定了固定的广告支出回报率目标，以达到并衡量所产生的收入数字。

均分测试组

与往常一样，如果您希望结果准确，那么良好的测试设置至关重要。 我之前写过关于不同的测试方法的文章，但是进行这种类型的测试的最简单方法是像对待其他任何A / B测试一样进行思考。

关键是要尽可能平均地划分您的广告系列，这样就不会出现任何可能解释一个工具/机构成功或失败的情况。 这里没有银弹。 划分广告系列的最佳方法可能会因您的产品，季节，购物者的受众特征等而异。

重要的是要尝试使尽可能多的变量保持相同。 您尤其希望当前和最近的历史数据相匹配-例如，大致相同的流量，转化和广告支出回报率数字。

细分广告系列的两种最常见方式是按时间或地理位置。 对于时隙划分，您将**要在测试中使用的广告系列，为每个工具/代理商分配一个，然后按固定的轮换顺序（通常每小时）激活它们。 这种方法的好处是，通过确保每个工具/代理商在同一日期范围内使用完全相同的产品范围，可以消除任何季节性或地理因素。

对于地理位置划分，您可以选择一个区域，在该区域中**广告系列，然后将其分成两个部分，其印象和转化量大致相同。 然后，将每个工具分配到一半的区域，并每两周切换一次。 这种拆分的好处是，从技术上讲，它很容易设置，可以让您在测试期间调整计划以及进行促销。 它还允许每个工具/机构同时工作，从而减少了运行测试所需的时间。

从技术上讲，您可以按自己喜欢的方式划分广告系列。 正如我之前所说，没有一种方法可以拆分广告系列。 这完全取决于您的广告系列/地区/客户/产品的分配方式。 您只想确保两个广告系列尽可能地接近。

运行测试足够长的时间

无论哪种测试，都要花钱。 随着时间的流逝，您冒着将金钱浪费在一个不起作用或不起作用的策略以及另一个策略上的风险。 另一方面，您需要运行足够长的测试时间，以便清楚地知道哪个测试组表现最佳。

50/50测试分成意味着将您的总流量分成一半。 您要确保变体在为测试预留的时间内统计上收到足够的流量。 实际需要多长时间取决于您获得多少流量以及差异有多明显。

请记住，任何使用算法和机器学习来管理出价的工具（或代理）都需要一定的时间来收集数据，然后自动化才能真正发挥其潜力。

在这种情况下，零售商进行了10周的测试。 您可以看到，在测试的前半部分中，我们与现有工具之间的差异很小，而算法在收集数据。 但是到测试的下半部分，我们已经收集了足够的数据以使自动出价和新的广告系列结构生效，从而在我们的两种方法之间产生了更为明显的差异。

要记住的另一件重要事情是，在测试完成后再等待两周，然后再收集和评估结果，以便捕获潜在的销售收入。

评估结果

测试之前，请确保您设定了明确的，可以实现的目标。 您希望候选人达到的目标必须与您一起设置的参数（例如，预算，时间，季节，产品偏斜）可以实现。 您还不能期待月亮。

现在也不该花时间看您的指标。 设置您一直在使用的目标类型，以便您可以轻松地将新结果与基准数据进行比较。 测试期结束后，您可以将每个测试/代理商的结果与基准KPI进行比较。

在这种情况下，对于零售商而言，最重要的指标是谁可以在目标广告支出回报率内带来最多的收入。 但是，他们还研究了其他指标，例如费用和广告支出回报率。

您不一定要寻找困难的数字。 更重要的是，这两个工具/代理商的绩效之间的差异以及与基准的比较方式之间的差异。 在这种情况下，我们的竞争对手已经是公认的工具，因此无需绘制基线。

如果您正在评估代理商，或者您正在寻找的工具具有客户支持部门，请他们就测试进行的方式向您介绍。 这不仅为您提供了一些原始数据的颜色注释，而且还使您了解了与该公司的合作关系将如何发展。 例如：

• 他们有很多借口吗？
• 他们有良好的报告技巧吗？
• 他们对您帐户未来的计划是什么？
• 他们会建议您对帐户进行哪些调整？

您想与一家将推动创新思想和新战略的公司合作，而不是一家坐下来反复执行相同重复任务的公司。

推荐建议

在测试过程中，您可能会做很多事情，它们可能会使结果产生偏差。 除了建立良好的测试之外，这里还有一些建议，不要偏向结果。

首先，在测试期间更改很多东西通常不是一个好主意，但是您会惊讶于这种情况发生的频率。

预算以及每个机构或工具如何分配预算，是您在测试期间要评估的关键部分。 与预算方案类似，到目前为止，更改归因模型或目标KPI将极大地影响测试结果。

检查进度。 您不想不必要地进行更改，但仍应检查结果，因为它们可用，以确保您的测试结构正常工作。 如果在最初的几周内看起来有些根本性的变化，那就可能是这样。 在这种情况下，您可能需要重新考虑测试结构并进行一些更改。 您所做的任何更改也可能会延长测试的结束日期。

希望本示例将为您的工具/机构评估提供指南。 对于零售业来说，2018年将是重要的一年，您必须为工作培养合适的工具至关重要。

如果您正在寻找可以将零售业务推向顶峰的一切优势，那么您将不能错过SMX West丰富的零售相关内容。 加入我们，于2018年3月13日至15日在加利福尼亚州圣何塞进行为期三天的SEM和PPC会议，专为像您这样的电子商务专业人士设计。 包括Google和Bing在内的主要参与者将在这里分享第一手建议，这些建议可以帮助您有效地吸引客户并增加整体销售额。 我们将共同努力，深入探讨对您和您的底线最重要的在线零售领域。

立即注册以获得最优惠的价格-早鸟价将于2月3日到期！

本文中表达的观点是来宾作者的观点，不一定是Search Engine Land。 工作人员作者在此处列出。