MR视频里的脸被挡住怎么办？谷歌让你的美貌帅气“重见天日”|潮科技

MR（混合现实）视频的优点在于，可以展示人们在VR中正在做什么。可是美中不足的是，在MR视频当中，用户的脸往往会被遮住了，就像下面这样。（妹子，我想看清你的脸）

So，你只能靠想象来猜测这位美女会是什么表情。

人的脸部是最有表现力的地方，大半边脸被遮住看不见，就相当于画面缺少了点睛之笔，会缺少很多乐趣。即便头盔窄一些，也会遮住人的眼镜，就像这样。

为了解决这个问题，谷歌现在正在研究一项新技术。他们希望在MR视频当中，让用户的脸露出来。

这是谷歌在官方博客里展示的效果图，这个玩家戴着HTC的Vive头显，在游戏中玩得不亦乐乎，眼神飘来飘去，兴奋中带着一些猥琐，脸部的表情十分丰富。

（好吧，app没有动图效果，你只能在PC端看到它）

谷歌新技术效果图

两者对比一下，效果会更加明显。下图是艺术家Steve Teeple在VR创意应用中《Tilt Brush》的对比动图。

左侧中的图中，一张英俊潇洒的脸只剩下咧着的嘴和尖尖的下巴。而右侧的图中，就很好地再现了Teeple面部表情的细节。

这项技术由谷歌的Research、Daydream Labs和YouTube团队共同开发的。它可以让MR画面捕获内容更加丰富。其中利用了多项新技术，包括改良的HTC Vive和SMI眼动追踪。

不过，他们并不是把用户真正的脸暴露出来，而是给用户贴上一副十分逼真的脸。

实际上，他们是把用户脸部的3D模型拿来代替被遮住的脸，利用3D模型在MR视频中合成脸部，从而形成“你的脸”重见天日的错觉。

具体操作的过程是这样的：

他们给用户构建一个动态的3D脸部模型。这个模型中会捕获人的表情变化，比说，用户眨眼、眼睛看向其他的方向，等等。

首先要校准一下，用户坐在彩色深度相机和显示器前面，然后让用户用眼睛去追看显示器的一个标记。

这种一次性校准程序耗时不到一分钟。通过这种方式，谷歌将获得用户不同的凝视方向、眨眼等表情变化的数据库。

这个数据库让谷歌的工程师们，能够在MR视频中更换脸的形象，并生成仿真的凝视视线，从而使同步的脸部表情看上去生动自然。

虽然这项技术对于普通的游戏玩家来说，可能用处不算很大。

毕竟没有太多人会去拍摄MR视频。但是这项技术并非没有用武之地，它将来可能会用于VR新品和游戏的宣发当中。

去年Vive刚上市的时候，HTC官方就拿出一些酷炫的MR视频，将现实世界和VR虚拟世界结合起来。正是这些视频吸引了大量的游戏玩家。

谷歌的这项技术，不仅可以在MR视频呈现玩家的动作，还能把玩家的面部表情逼真地展示出来，让产品的展示更加有趣，更有科技感。

这是国际新闻组的新栏目：潮科技。科技大公司的最新技术、潜力公司的酷产品、在实验室茁壮成长的新概念，都逃不过我们的法眼！够潮够先进，才有够得着的未来市场。

欢迎提出意见和建议，可以在下方评论区留言，36氪想为你变得更好。