它不是万金油,却是增长黑客必不可少的鉴别利器

万金油?别误会,我A/B测试只是唯一能看破真相的工具

优胜劣汰:用A/B测试来鉴别不同版本的转化

唯一看破增长真相的A/B测试不是万金油

A/B测试是甄别版本增长的测试工具

它不是万金油,却是增长黑客必不可少的鉴别利器

A/B测试不是万金油,却是增长黑客必不可少的鉴别利器

AB测试不能保证转化率提升,但转化率提升却离不开AB测试。

首席增长官背后的鉴别利器

它不是万金油,但首席增长官少了它也玩不转

在Hacker News上,有人妄言,A / B测试已经变成了像万金油一样的存在,以至于夸下海口承诺A/B测试将会是提高转换率的灵丹妙药。这个评论困扰着我,不是因为评论者的错误之处(虽然他确实错了),而是因为某些人对A / B测试的看法。让我直截了当地说清楚:

A/B测试并不能保证销售和转换的增加

事实上,我们在Appsumo的上发表了一篇特邀嘉宾的文章,据他们透露,运行的8个A/B测试中只有1个认可了有改进意义的结果。是的,再看一遍:8个A/B测试测试中只有1个有效。万金油能包治百病, A/B测试显然并不是这样被被神化的存在。

我觉得,有些人会误以为“A/B测试就是用来提高销售、提高转化的”,是因为我们发布了很多的A/B测试成功案例研究。

事实上,我们的用户数量如此庞大(在写作时已超过6000人),我们确实看到许多客户通过A/B测试来获得良好的效果。而如果他们想与世界分享这些结果,我们自然会将其发布到我们的博客上。

因此,当我们在某一周发布了一个名为“3个简单的变化增加了15%的销售量”这样的的案例研究,下周我们又发布了另一个案例研究“名为WriteWork.com如何将销售额增加了50%”,这自然使人们认为,使用A / B测试将确保销售增长

——不,使用A/B测试不能保证任何东西。这只是一个控制变量的测试工具(虽然是一个非常好的工具),但是做实际工作的总是工匠,而不是他/她所使用的工具。这就像揭开了掩盖着“真相”的“幕布”一般。使用者已经做好了新的版本(或是页面),这个新版本对转化的影响是“真相”可是在发布前,我们都不知道这个“真相”是什么,就好像盖着块“幕布”。A/B测试则是揭开“幕布”的工具,用来帮你事先检测这个新版到底是会提高转化,还是会造成降低转化的可怕后果,了解“真相”,进而决定是否发布。没错,A/B测试并不影响“真相”,真正对转化造成影响的,是使用者的设计,是设计出的新版本本身。

造成误解的原因探索:幸存者偏差

你在互联网上阅读的大多数成功案例或案例研究(不管是关于A/B测试、一夜暴富还是减肥、养生鸡汤)都会在无形之中受到一些心理学方面的问题的困扰,如幸存者偏差。在A / B测试中,它意味着这样一个很简单的现实:

“如果您运行100个不同的A / B测试,并且只有其中一个证明新版本可以取得良好的结果,那么您只会发布关于这个好结果的信息,而不会发布其他99个被证明是无用的版本更迭的结果。

很显然,若是发布99个关于使用A / B测试发现版本更迭没有产生任何效果的案例研究,将会让我们的读者感到厌烦,我们也不愿意见到这类负能量充斥网络。

那么为什么要发布A / B测试案例研究呢?

首先,我们发布A / B测试案例研究的原因是为了展示使用A / B测试可以实现的潜力。这与举办毕加索的绘画艺术展相似,通过让人们欣赏作品,刺激人们的艺术细胞。也许会有观看者内心期盼着能达到不错的水准,拿起画笔开始学习作画。重申一下,就像拿画笔和画布不能保证一定能创作精彩的美术作品一样,做A/B测试也不能保证销量的增加。

其次,事实上,那些验证了巨大改变的A/B测试,其他用户直接复制它们几乎从来没有取得那样的奇效。因此,如果您阅读了类似“如何将转化次数增加46%”的案例研究,然后在您的站点上依葫芦画瓢儿,希望获得相同的魔术般的增长——那么可能会发生奇迹,也可能啥都不会发生。

因为对他们有效的改变可能并不适合你!

那么,为什么还要发这样的成功案例研究呢?原因如下:

A/B测试案例研究提供了可以在您的页面或者产品上进行尝试的思路。

是的,展示A/B测试的强大潜力,并且提供更多的测试思路——这就是A/B测试案例研究的意义。

而且,我希望我能提醒你:别误会,A/B测试并不是万金油!

Paras Chopra

身为产品经理的你,是不是有点心动?

 

但是国内A/B测试平台良莠不齐、质量没有保障,国外知名的A/B测试平台使用起来又不方便,自建一个A/B测试系统,又缺乏专业的统计学知识、精准的数据收集能力和大量的搭建时间……

正因如此,Testin云测,作为业界一站式测试服务的领导者,在为京东、美团、新东方、奔驰、招商银行、东方航空等诸多企业提供软件测试服务的同时,也向广大运营同学推出了自己的A/B测试平台——TestinData.AI智能A/B测试,美图、Camera360、自如等都已经用上了。

TestinData.AI致力于应用智能,被称作产品经理的外脑,让阅读、资讯、知识、工具类App具备个性化智能,让金融、电商、学习、旅行类等商业App具备商业智能,通过机器学习专利引擎对应用(HTML5、移动页面、小程序、快应用、原生App、物联网二维码应用)实时自动优化,使产品、运营和市场人员能够持续、高效提升转化率、ROI和关键经营指标,预测客户的潜意识需求、并即时传递给他们,从而推动可持续进化的商业效益及品牌忠诚度。

TestinData.AI具备实时、持续、智能提升转化率的能力,驱动用户增长,在支持智能优化的同时、也支持传统的A/B测试,并提供可视化编辑、科学流量分割和专业统计等功能,可以进行私有化部署。不论是提升页面的转化率,还是驱动产品优化,亦或是降低迭代风险,Testin A/B测试都能帮你。并且,Testin不但在A/B测试的数据收集分析上做到精确,还拥有一支专业化团队,随时准备从各个角度为你的A/B测试实验提供支援。

感觉自己不懂A/B测试?不会做A/B测试?不知道怎么利用A/B测试?不必担心,A/B测试,就找Testin。

Leave a Comment