小范围投放试验的安排顺序应当是:先写清一个可验证的假设,再只改一个变量,用最小预算和最短周期跑出可判断的数据,最后决定放大、修改还是停止。时间和人手有限时,不要同时测受众、素材、出价和落地页,否则结果无法归因。下面用一个假设例子说明具体步骤和常见错误。
假设某在线课程要测试一条新广告标题是否比旧标题更能带来注册,预算为每天200元,计划跑5天。这里的假设是“新标题能提高注册转化率”,判断标准可以设为:新标题的注册成本比旧标题低20%以上,且五天累计注册数不少于15个。如果达不到,就视为没有明显改善。
判断标准要在开跑前写下,不能等数据出来再改。时间人手有限时,优先测对结果影响最大的变量,通常是素材或受众,而不是同时调整出价、时段和落地页。每次只改一个变量,其他条件保持一致,这样差异才能归因到被改的那一项。
如果人手只够每天看一次数据,就把记录项压缩到四项:花费、点击、转化、转化成本。其余指标可以后补,但不影响这次判断。
小范围试验最常见的错误是看到试验组某天数据好就立刻加预算,或者因为某天数据差就中途停掉。单日数据受时段、竞争和随机波动影响,不能作为结论。另一个错误是两组预算或投放时段不一致,导致差异其实来自预算规模而不是被改的变量。
还有一种错误是样本太小就下结论。假设试验组只拿到3个转化,即使转化成本看起来更低,也不足以判断优劣。可以预先设一个最低转化量,比如两组各自至少10个转化,达不到就延长观察期或缩小判断范围,而不是直接宣布胜出。
按影响大小和操作成本排序,建议先做这三件事:
如果每天只能投入半小时,就选一个变量、一个渠道、五天周期,不做多变量组合测试。付费广告的投放结果不代表自然搜索排名会同步变化,两者是不同机制,试验结论只用于广告投放决策。
现在写下你这次要验证的那一个假设、判断标准和最低转化量,然后按上面的步骤开跑。周期结束后,如果试验组达到标准就逐步加预算,没达到就回到原方案并换下一个变量,不要一次改动多个设置。