在他的职业生涯中，Instacart的产品副总监Elliot Shmukler始终极力推崇A/B测试法，不仅把它作为完善产品开发的实用方法，也作为一种有效的管理工具。 在eBay的时候，Shumkler率先使用A/B测试法来提高eBay的搜索体验，并协助推出了eBay Express。在LinkedIn的时候，他领导了一支15人的产品团队，负责近半数的网站访问量。 而在Wealthfront担任产品副总监时，Shumkler不仅让这家创业公司的客户资产从1.5亿美元发展到30亿美元以上，还发布了其他服务以及公司第一个移动应用。 纵观他的职业生涯，他对A/B测试方法掌握地炉火纯青，不管是开发产品还是管理团队，都能从中获得好处。
他分别指出A/B测试作为管理架构的好处和可能面临的难题，以及如何在创业公司中推行这种方法。每一个产品或者发展经理都将从他以数据驱动管理产品和团队的方法中受益匪浅。
任何一种管理架构的核心目标是更好地决策。在给股东的年度公开信中，亚马逊CEO杰夫·贝索斯提到了两种不同的决策：不可逆型和可变型。
随着公司发展，对这两种决策方式的应用会越来越广泛。Shumkler认为，强调组织进行可变型决策时，A/B测试法是一个理想的途径。他说，“把A/B测试法应用到可变型管理决策时，我们可以轻松地审视各种决策的可能结果。即便是在不可逆决策过程中，必要时A/B测试法也能发挥关键作用。”
在职业生涯早期，Shmukler联合创办了Sombasa Media，也就是在这个时候，他首次注意到了两种不同的产品管理决策风格：远见型和数据驱动型。他说，“前者风格的产品经理更倾向于靠直觉决策，而后者更常以经验和分析来决策。但是我觉得应该还有更有效的决策制定架构，能将这两种决策风格的各自优势结合在一起。”
Shumkler进而解释道：“当双方争执不下时，他会要求小组成员一起坐下来把他们各自的理论放到测试中衡量结果。然后各自收集数据等。所有的结果都公开在白板上，整个公司人都可以看到。最后，双方都有收获：数据驱动型产品经理拿到了验证结果的数据，远见型产品经理验证了他们的理念。皆大欢喜。” 不管最后哪种理念获胜，产品经理之间都不会存在不愉快，因为结果来自权威的测试而不是某一权威人士。其中的关键在于，这样的A/B测试方法不仅快速而且对所有人都公开透明。接下来是对这种方法的好处与挑战的总结：
这些年来，Shmukler没少听过反对意见，认为A/B测试作为产品开发和管理工具是行不通的。他说，“大公司不愿冒险，而创业公司总以时间和成本为由拒绝接受新方法。然而当我工作的创业公司只有20个人时，我用这套方法让公司员工发展到了100人以上。” Shmukler以自己在大公司和创业公司的经历告诉我们，不管公司规模大小，这种测试架构造成的摩擦很小，它不会增加时间或成本，具体原因如下：
如果你没有工程师资源，那么很多工具也可以做到这一点。比如Optimizely，你甚至都不需要为运行A/B测试写代码。再退一步说，本质上就是你选择一个用户，然后用扔硬币的方法把他们分到A、B两组，再收集数据分析，真的不难，也不需要太多时间和成本。
另外，遇到复杂度大幅上升的并发实验时，仪表板应该设计地越简单越好。“最好的仪表板也是最简单的——只给出指示性的红、绿信号——但是你仍然需要仔细查看结果。”
深度扩展测试软件的能力，使其能够把实验结果解读为深层次影响，应该是每个产品小组在使用A/B测试过程的一个目标。
很多创业公司都知道A/B测试作为产品发展工具的价值，但事实上它也可以作为一个内置机制更好地开发管理产品团队。通用的A/B测试不仅可以解决不同类型产品经理之间的矛盾，还可以给予他们自主权，认可他们的个人风格。即使创业公司面临样本规模太小等问题，投资轻量级实验工具总是值得的。
|
|
|
