零成本隔空操控手机，英梅吉基于手机摄像头做手势识别

用过Gear VR或类似产品的人都多少会有感觉，用触摸板来进行移动VR的交互，体验不是很好。于是很多人都想给移动VR增加手势识别功能，但不论是基于深度摄像头，还是Leap Motion，给移动VR增加手势识别都不是很方便。直接用手机的摄像头做手势识别倒是个0成本的好选择，但之前算法很少能达到实用。英梅吉最近展示的Hand CV演示，则让我们感觉，离隔空操控手机近了很多。

英梅吉展示的1.0版本Hand CV demo中，可以基于手机的摄像头，实现食指单击、弯曲、捏合拖动、握拳等基本手势识别，操作时感觉不到明显延时，手指捏合也可以完成一些细微的操作。Hand CV不做复杂的手势追踪和识别，目前只是定义了7个手势，主要定位于完成一些基础的日常轻交互，如确定、点选及拖拽等，便于在头戴VR设备时，用手势完成点选菜单、音乐播放控制等。

要做到实用，关键在功耗和稳健性。36氪现场试用时，demo运行了10分钟左右，手机发热还是比较明显的。关于功耗，CTO李小波表示，持续开启摄像头的情况下，手机本身就会有明显的发热，不是算法导致的。目前他们的算法在 iPhone 6 上 CPU 占用率大约在 8% 左右，延迟约为 10ms。手机上的3D程序增加了他们的算法后，帧率会下降几帧。

稳健性方面，李小波表示，顺光条件下，在暗光和复杂背景下，他们的算法都很稳定，已经可以满足日常很多使用场景。但目前在逆光的情况下，如面对窗户使用时，算法还容易混淆人手和环境中的树杈等，这个问题将在未来几个月内的2.0版本中进行优化。手与手机的距离也有一定影响，太近或太远时，识别都受到影响，不过自然的手在眼前20-30厘米这个距离上，问题不大。

Hand CV 将以SDK的形式提供给硬件厂商和开发者。交互设计本身除了技术，还有很多用户体验方面的工作，交互设计本身不是英梅吉的长项，所以Hand CV 也可以提供识别到的手势信息，基于这些信息开发者可以自己定义手势对应的交互。1.0版本IOS平台SDK已经封装完，安卓版正在封装，后续还会提供Unity版本的SDK给开发者。

盈利模式上，为加速推广，个人开发者的用户数不多时可以免费使用基础功能版SDK，功能更强的版本，面向厂商或用户量大的开发者，则根据安装量或用户量，分级收取技术授权费，除了AR\VR，这项技术还可以用在平板、笔记本电脑等设备上，如用于在做饭的时候隔空操作平板翻页看菜谱等。汽车、机器人等也可以采用这项技术实现一些基本的隔空交互。创始人朱郁丛表示，他们已经在和一些手机厂商和汽车厂商洽谈合作。

对移动VR而言，如果能用手机摄像头稳定完成基础交互操作，比目前的手柄等方式都更方便，因此，大厂可能都已经或即将自己研发该技术。如果这项技术足够成熟的话，甚至Google的Daydream有可能从系统层集成该技术，所以Hand CV的推广速度显得很重要。Hand CV目前可以安装在普通手机上结合盒子类VR头显使用，还没在Gear VR上进行过测试。

李小波实时变脸李开复演示

英梅吉团队总共不到二十人，核心算法研发有九人，CTO李小波曾经在 ATI 从事游戏引擎相关工作。此次发布Hand CV之前，英梅吉做过4,5年图像相关的开发，开发过诸如变脸、虚拟戴眼镜及手势控制等方案。团队目前正在寻求A轮融资，用于加强市场推广。