如何通过产品测试轻松搞定一场完美的产品发布会？看eero是怎么做的
编者按：eero是一款家用WiFi系统，这款产品在今年年初举办了一场非常成功的产品发布会，取得了非常好的反响。在本文中，eero的两位主管分享了举办一场成功的产品发布会的秘诀：出色的产品测试工作。他们详细分享了为什么产品测试对一个成功的产品发布如此重要。他们将整个产品测试过程分为三个阶段：前期准备阶段、正式测试阶段、反馈循环阶段，并分别就做好每个阶段的工作给出了具体的技巧和建议。
在eero产品正式发布的几周后，公司的产品测设和特殊项目主管Kelly Neary和产品主管Paul Nangeroni终于能喘口气了。上千用户开始放弃原来信号不稳定的路由器转而使用eero的家用WiFi系统。很多媒体对eero产品的评价也都非常正面。如果你去问Neary和Nangeroni eero产品发布取得如此大的成功的秘诀是什么，他们肯定会告诉你：这一切都得益于前期出色的产品测试工作。
在eero发布的六个月前，公司就已经全员出动参与到产品发布这个项目里，由Neary和Nangeroni负责这个项目。Neary之前是智能家居公司Nest工作，在Nest主要负责早期的产品测试工作。Nangeroni之前在苹果工作，主要负责一系列硬件项目的管理工作，包括iPod、iPhone 5C和Apple Watch。
近日在接受First Round Review专访的过程中，Neary和Nangeroni分享了为什么产品测试对一个成功的产品发布如此重要。此外，产品测试不仅有利于在产品发布前完善产品，同时还能为获取早期用户和打造品牌奠定基础。Neary和Nangeroni将整个产品测试过程分为三个阶段：前期准备阶段、正式测试阶段、反馈循环阶段，并分别就做好每个阶段的工作给出了详细的技巧和建议。
测试前的准备
从一开始，eero就知道产品测试项目对产品最后的正式发布至关重要。在eero这个产品上，不仅要测试软件和硬件，同时还要确保用户不管在什么样构造的房屋内都能够有稳定的WiFi信号。eero的测试项目就是将eero的技术和品牌拿去供大家测试。因为WiFi与我们的日常生活密切相关，用户测试eero的时候，eero是需要全天候24小时在用户家里运行的，因此我们必须知道如何为测试用户提供最好、最实时的支持，不能有一丝大意。
从测试角度来说，这意味着从测试中获取尽可能多的反馈的难度和和门槛更高。毕竟在真正测试的时候，我们是需要让测试用户在自己的家里装eero的WiFi设备的。为了获得有用的数据，eero必须表现得足够好且对测试测试用户真正有用才行。所以我们决定必须认真仔细对待这个测试项目，就像其它创业公司对待正式的产品发布会那样认真。这也是公司邀请Neary加入公司的原因，因为她是在Nest时在产品测试方面积累了丰富的经验，知道如何快速启动和完善测试项目。
首先团结和动员公司内部各部门人员都参与进来
从一开始就要有意识地动员公司内部各个部门的人都参与到这个项目中。千万不要想当然地认为因为你的团队在负责测试产品，所以其它部门的人都会时刻准备着为你提供支持。要想动员公司内部其它团队都参与进来是需要做很多工作的。产品测试工作不光是完成产品开发工作和提供基本的支持工具。你应该将产品测试当作一次产品正式发布的预演。为了达到这个效果，我们会让公司员工在测试eero发现问题的时候通过电话或邮件的方式反馈给客服支持团队，而不是直接跑到客户团队办公桌旁去反馈。让公司内部员工的反馈方式和外界其它测试用户的反馈方式一样。
对于早期创业公司而言，产品公开测试前召集跨部门参与者的会议非常重要。你需要让每一个团队里的相关人员都参与进来。不让将其视为是有关测试项目的会议，将其视为产品实战练习。根据产品开发进度，会议的节奏也会相应发生变化，但不变的是议程。
产品公开测试有助于帮你弄清楚之前不确定的一些东西。它可以用来测试你的客户支持工作是什么水平。
设计测试项目的时候，将测试用户群体的多样化放在头等重要的位置
eero测试团队在仔细评估了申请测试人员的详细资料后，会从中筛选一些能代表各种不同用户群体的人参与测试，以求与日后真实的用户群体相吻合。这有助于帮Nangeroni和Neary在产品正式发布前从足够广泛的用户基础中发现可能会出现的大问题。
我们开发的产品是要安装在用户家里的，但不同家庭的房屋构造差别非常大，光靠在公司员工家里测试是远远不够的。下面就是Neary为确保测试用户群的多样性而设计的测试流程：
- 设备：eero必须能满足各种设备的联网需求，包括手机、平板、可穿戴设备和笔记本等等。所以我们尽量选择那些家里有所有这些设备的用户参与测试。
- 家庭：我们有意选择那些来自不同州、使用不同网络服务提供商的家庭。此外，我们还会尽量选择使用不同建筑材料的家庭，因为这些因素也会对WiFi信号强度造成影响。
- 用户的专业性：不同用户对WiFi设备方面的知识的了解程度是不同的，有的非常专业，有的不怎么懂，因此我们的测试用户样本会尽量包含各种不同的用户群。
除了测试用户的多样性之外，在设计调查问题时也需要考虑周全。为了解对方对技术的了解程度，我们不会直接去问，而是间接地通过问他们的职业、目前使用的是什么路由器以及在哪些设备上使用WiFi等来了解相关信息，如果对方回答说不知道自己使用的是什么路由器，这也没关系，因为这个回答本身就包含了很有价值的信息。
测试产品要追求平衡，不必追求完美
一个很重要的问题是什么时候开放测试。Nangeroni表示并没有严格的时间线，但必须确保开放测试前让产品达到一种平衡：不要等到一切都非常完美之后再去开放测试，可以允许产品有一些能引出有意义反馈的小bug，但也要确保产品不出现大使用上的问题。
正式发布测试产品
eero的公开测试共持续了6个月。什么时候开始测试主要根据产品的成熟度来确定，那何时结束测试呢？一个传统的经验法则是在结束测试后至少留出三周时间再正式发布产品，主要是为了预留足够时间去评估发布代码的定量与定性指标，确保产品正式发布已经做好了准备。Nangeroni建议，产品测试时间长短不应以时间来衡量，而应更多地以指标来衡量。在理想情况下，当你已经对产品做出必要的完善调整并达到指标所需要的性能、稳定性和速度后，你就可以结束测试了。
是不是产品正式发布后意味着测试就结束了呢？在Nangeroni看来，开放测试应该一直持续下去，可能测试的形式不一样，毕竟产品团队对用户获得使用反馈的需求是永无止境的。在乒乓球运动和火箭发射之间，产品测试更像是乒乓球运动。它是一个持续交换循环的过程，而不是一次性发射就彻底完成了。
撸起袖子大干一场，你是你最好的工具
要想真正做一个成功的产品测试项目是需要下很大功夫的，尤其对于一家缺乏标准流程和工具的早期创业公司更是如此。千万不要低估一个测试项目需要的大量人力资源。
Neary表示，在eero进行产品测试的时候，有三个人全职负责领导这个测试项目，但整个测试项目是需要公司内跨部门人员的全力支持和通力协作才能完成的。最开始的时候，很多工作都需要自己手动完成，我自己会亲自包装产品盒和填写地址标签等。随着公司的发展，会有越来越多的辅助工具帮助你完成工作，但在创业公司早期，你是你自己最好的工具。
实时迭代和改善测试产品
最能有效利用产品测试的公司是可以一边完善用户体验一边改善测试本身的，这就需要在产品开发过程中就将二者进行融合。产品测试从几个方面来看都是一次非常好的机会。首先，我们希望任何使用eero的用户都能拥有愉快的产品使用体验。测试产品是我们的第一个布道者，所以我们需要确保用户能从测试产品中获得愉悦的体验。如果产品测试工作做得好的话，这不仅能推动产品开发工作，还能帮助打造产品的品牌。
Neary下面分享了eero是如何将测试用户转变成产品的忠实粉丝的：
- 提前明确与测试用户沟通的频率：在测试用户决定是否参与产品测试之前，我们会明确告诉他们在产品测试中我们会多久和他们沟通一次，比如一周一次或两周一次，了解他们在新功能需求和反馈发现的bug等。
- 不仅要改善产品，还要完善测试流程：我们不仅会问测试用户关于产品方面的问题，还会向他们对产品测试过程本身的意见建议。我们会问他们：目前的测试流程如何？你们希望我们在每周的哪一天以及每天的什么时候和你们联系寻求反馈？你们是愿意电话沟通还是邮件沟通？
- 做到用户反馈闭环：每当修复了新的bug，我们都会主动和之前反馈过这个bug的用户联系，让他们知道我们已经修复了对方反馈的bug。这可以鼓励测试用户更积极地发现和反馈bug。
- 测试快结束的时候，邀请新的测试用户重新测试：在测试快结束的时候也不要沾沾自喜。在测试的最后两周时间里，邀请一批全新的用户参与到产品测试中来。这些之前从来没听说过、更没使用过eero的用户在能够以全新的视角对产品进行测试，这有助于发现更多的新问题。
- 事后总结分析：每次发布一个新版本后，我们都会总结分析哪些地方做得好、哪些地方需要改进。不要等到测试结束之后再去总结，在整个测试过程中都要持续总结分析。
对于来自亲朋好友的反馈要巧妙处理
很多公司的创始人都会首先让自己的亲朋好友测试自己的产品，他们通常是产品最早的忠实用户。这部分人当然不能被忽视，不过对于来自他们的反馈要巧妙处理。测试的目的是为了获取真实有价值的用户反馈。让亲朋好友测试有利有弊，其中利的方面是他们比较安全可靠，会为你保密，同时能容忍硬件的不成熟。然而弊端是他们很难给出客观的反馈，他们通常只反馈好的地方，对产品不足的地方不好意思说。
那么如何才能从亲朋好友那里获取真实有价值的产品试用反馈呢？其中一个非常有效的方法就是重新设计调查问题，不要设计为产品评分类的问题，如按1-10分规则为产品功能评分。相反，要设计一些类似“如果必须要对产品的某一个方面做出改变，你会希望在哪里做出改变？”这样的开放性的问题。这样的问题有利于获取测试用户真实有用的反馈。
要相信你的测试用户会对产品保密
Neary和Nangeroni意识到，即使是部分公开测试也是有风险的，不过为了能在产品正式发布后给用户带来最好的第一代产品，这么做是有必要的。我们采取了一些措施减少失误，但你最终还是必须要相信你的测试用户。首先，不管是谁邀请的测试用户，我们都会复核他们的个人和家庭信息。然后我们会和测试用户说清楚测试流程和目标，并强调在测试的过程中需要他们非常做好保密工作。此外，在我们给测试用户寄出的eero产品包装里面，我们都放了一封来自我们公司CEO的感谢信，感谢他们的参与此次产品测试，同时提醒他们不要对外透露产品测试的任何细节信息。
总结和处理测试期间获得的反馈，完成闭环
从测试到正式发布的最后一个关键步骤就是和团队一起分析搜集回来的一大堆的用户反馈。很幸运的是，我们在eero测试期间获得了大量用户反馈。对所有这些反馈一条一条过，并根据所反馈问题的严重性划分优先级。
客服团队和工程师团队紧密协作，与测试用户沟通反馈的问题
在产品测试结束后，对于用户反馈的很多问题都需要在产品正式发布前解决。要想让工程师仅仅根据宽泛的反馈去迭代产品是很难的，他们通常需要和反馈问题的测试用户具体沟通，这样他们才能具体了解用户反馈的bug问题。这就需要客服团队与工程师团队就用户反馈建立畅通的沟通渠道。
为了确保工程师团队能和测试用户的沟通顺畅进行，eero采取的方式是：客服团队将工程师提出的难懂的技术问题翻译成通俗易懂语言，并代表工程师和测试用户沟通获取用户的答案。
真心感谢所有测试用户的所有反馈
即使用户给的反馈没有实际作用，依然要对他们表示感谢，不仅要感谢他们在测试上说花的宝贵时间，更要记住，是他们帮你完成了整个测试流程。
想办法让测试用户继续成为产品的忠实用户和布道者
如果你的整个测试工作是非常成功的，那么你的那些早期测试用户不仅在技术上投入了很多，更在你的品牌上投入了很多自己的情感，这样你就在用户中形成了一种社区感、归属感和信任感。在测试结束后，Neary和Nangeroni建议你提供其它选择来让这些早期用户继续参与到你的产品中来。你可以和他们分享产品的里程碑事件，产品正式发布当天也是和他们共同庆祝的大好时机。
说到让早期测试用户今后继续积极参与到产品中，eer概括了三种不同的用户群：
- 社区用户：这部分用户是最活跃、最懂你的产品、同时对你的帮助也是最大的。我们可以很轻松地和他们沟通，解决他们反馈的问题。我们知道这些用户的家庭房屋构造和他们的个人信息。我们和他们保持非常紧密的联系。
- 目标用户：这些用户是我们希望能获取和留住的用户。如果我们知道我们想获取某一种类型（某一种家庭构造、某一个人群或使用某一个网络服务提供商的用户），我们可以从这类测试用户搜集有价值的信息。
- 少数群体用户：这部分为数不多的少数群体用户可以帮我们更好地了解一些少部分用户可能会遇到的不常见的问题。
eero在2016年年初正式发布的时候，我们的产品已经经过了数百用户的测试。我们的客服团队甚至能清楚地记住每个测试用户的姓名、他们家房屋的构造等。其中的很多测试用户都变成了eero的忠实粉丝和布道者。这一切的成功全靠由Nangeroni和Neary领导的测试小组的精心准备和严格的执行。在最开始的测试准备阶段，筛选能够代表不同用户群的早期测试用户，团结和动员公司内部不同部门的员工都参与进来，确保测试工作能顺利推荐；在正式公开测试阶段，不仅要实实时对产品进行迭代完善，还要持续完善收集用户反馈的流程；最后在总结和处理用户反馈的阶段，让工程师对用户反馈能积极快速地反应，同时找到新的方式让测试用户继续成为产品的忠实用户。
