腾讯B站纷纷入局,虚拟人热火朝天!谁才是真元宇宙入口?
注意,虚拟数字人已经开始“入侵”我们的生活了!
不知道你有没有发现,我们的生活中出现了不少虚拟数字人的身影。9月22日,小红书推出了“潮流数字时代”计划,推广一批虚拟数字人作为博主发布笔记;B站专门为虚拟主播开设了分区;湖南卫视的小漾将作为首个虚拟主持人出现在电视屏幕上,这些信息都透露着虚拟数字人市场正在升温。
▲虚拟数字人CELIX走秀现场
▲从左到右分别为英伟达Toy-Me;OPPO虚拟数字人小布;腾讯五款数智人;乐华娱乐旗下的虚拟偶像女团A-SOUL
这些形态各异的虚拟形象都属于虚拟数字人吗?事实上目前行业内关于虚拟人、数字人又或者是虚拟数字人这些概念,还处于一个各自为战的状态。
目前,比较官方的定义来自中国人工智能产业发展联盟首次发布的《2020年虚拟数字人发展白皮书》报告。报告提到,虚拟数字人指具有数字化外形的虚拟人物,将依赖显示设备存在,并且拥有人的外貌(长的像人)、人的行为(能说话、能举手、能做鬼脸)以及人的思想(能与人交流)。
有行业报告显示,2020年中国虚拟数字人行业市场规模约2000亿元,未来随着市场接受度拓宽,2030年中国虚拟数字人市场规模将达2700亿元。
虚拟数字人不但成为科技公司角逐的蓝海市场,而且也成为文娱行业“接轨”元宇宙的新方向。虚拟数字人到底指什么?它的背后有哪些技术成为支撑?虚拟数字人真的会是元宇宙赛道的新风口吗?
带着这些问题,智东西与国内动捕巨头公司诺亦腾CEO戴若犁、虚拟数字人公司创幻科技CEO陈坚等相关的行业人士进行了深入交流,看到了虚拟数字人背后的技术支撑和落地情况。
本文福利:在人工智能、虚拟现实等新技术浪潮的带动下,以虚拟主播、虚拟员工等为代表的数字人成功进入大众视野,并以多元的姿态在众多领域大放异彩。推荐精品报告《虚拟数字人发展白皮书》,可在公众号聊天栏回复关键词【智东西197】获取。
谈起虚拟数字人,你的脑海里会呈现出谁的样子,是出现在春晚上的虚拟歌姬洛天依,还是清华的虚拟学生华智冰,又或者是你手机里软萌可爱的虚拟语音助手,甚至还有可能是B站上唱跳俱佳的虚拟主播们。
▲不同类型的虚拟数字人代表
▲智东西整理 来源:《2020年虚拟数字人发展白皮书》
根据虚拟数字人不同的核心交互方式,虚拟数字人分为智能驱动型虚拟数字人和真人驱动型虚拟数字人。
▲英伟达CEO黄世勋的虚拟形象Toy-Me正在与人交流
真人驱动型虚拟数字人是以真人为核心,用户可以通过3D建模、动作捕捉技术、渲染等技术,在网络上形成一个自己的虚拟化身。比如说,B站里的部分虚拟主播们通过动作捕捉平台,建立自己的虚拟形象,并以虚拟形象的方式与其他用户互动或者表演。
▲B站虚拟主播超次元次元酱表演秀
▲日本虚拟漫展Virtual Market6展会现场
在虚拟数字人刚起步的阶段,由于渲染技术、网速等原因常常会出现虚拟数字人突然“死机”,又或者呈现表情生硬、肢体不协调等情况,导致虚拟数字人往往都走在各类“翻车”的路上。
比如说,在天气预报的直播现场虚拟主持人突然360度来了个失败的“托马斯全旋”。
又或者是这样,在虚拟偶像综艺现场,由于计算能力和渲染能力的不足,几个虚拟偶像突然开始表演“千手观音”,场面一度很鬼畜。
▲国内虚拟偶像综艺直播现场
▲虚拟偶像远程互动
倒退十年,你如果想给自己打造一个虚拟形象,可能需要花费数十万元去买专门的设备,聘请专门的拍摄团队才能拥有一个活灵活现的虚拟形象,但现在你可能通过一台电脑就能为自己打造一个简易的虚拟化身。
B站CEO陈睿在哔哩哔哩周年演讲时提到,在过去的一年里共有超过32000名虚拟主播在B站开播,同比增长40%,虚拟主播已经成为B站直播领域增长最快的品类。
这一切都要归功于研发人员在制造虚拟数字人的两大重要环节——动作捕捉技术和渲染技术上做出的突破。
▲B站虚拟主播分区
1、解构四大动作捕捉方案,最高可实现毫米级误差
如何让虚拟数字人更加生动?动作捕捉方案是其中的关键要点。动作捕捉是指通过数字手段记录现实人们的运动过程。过去的一些科幻电影和游戏中,人们常常通过基于摄像机的动作捕捉系统完成对于一些科幻角色的塑造。同时,动作捕捉系统根据实现原理的不同,可以分成光学动作捕捉、惯性动作捕捉、Track设备+IK算法的动作捕捉、以人工智能为主的动作捕捉方案。
光学动作捕捉方案是当动捕演员在特定的部位粘上特殊材料,摄像机通过反光来捕捉这些特殊材料的位置变化,从而完成对演员的动作捕捉。
▲光学动作捕捉技术
在光学动作捕捉设备和方案上,国内外都涌现出一些较为优秀的公司代表,比如说影视动捕巨头VICON公司以及国内利亚德集团下的北京虚拟动点科技有限公司。
北京虚拟动点科技有限公司的成立与美国光学巨头公司NaturalPoint离不开关系。利亚德集团在2016年11月4日宣布,计划通过旗下的子公司平达公司,以8.44亿元人民币全资收购了美国光学巨头公司NaturalPoint,同时也收下了其旗下OptiTrack产品系列,随后成立了北京虚拟动点科技有限公司。
OptiTrack的光学动作捕捉方案可以通过两个以上的高速智能摄像头对于移动目标进行定位,并记录相应数据,从而“复现”人物的动作和表情。
而惯性动作捕捉方案,主要是通过人物在各个关键佩戴的惯性传感器,并且对一些主要的部分进行实时测量,是比较主流的动作捕捉方案之一。
我们常见的动作捕捉服、手套等设备都是属于这类惯性动作捕捉范围内。
▲《指环王》动作捕捉演员Andy Serkis
▲卡通形象的虚拟数字人直播带货现场
在惯性动作捕捉技术的赛道里,国内厂商诺亦腾、国外厂商XSens都拥有比较成熟的产品。其中,诺亦腾通过全身17节点惯性传感器、全身绑带、传感器充电盒以及EVA便携箱等组成部分打造了入门级无线动作捕捉系统Perception Neuron 3。
▲以人工智能为核心的面部捕捉技术方案
“如果对自由度和视角的要求不高的话,这类基于计算机视觉关键点识别的动捕方案,会是消费者和从业者比较容易接触到的,因为不会涉及到新的成本,好一点的手机上的摄像头就可以实现基础的身体与面部捕捉”,国内动捕巨头公司诺亦腾CEO戴若犁说道。
对于动作捕捉技术未来的发展,戴若犁提到,之前动作捕捉系统主要是面对科研、影视等专业领域,因此,在系统复杂度以及成本上基本上不太适用消费级市场。“在大家都过了新鲜劲之后,如果虚拟人赛道不再适用于消费者市场的话,未来的动捕技术还是会为面向专业领域的从业者服务”。
2、主打Unreal和Unity渲染引擎,颜值和交互性成虚拟数字人渲染关键
除此之外,当人们通过不同的设备记录下自己的动作方案之后,还需要通过渲染引擎,对毛发、衣物等细节尽量还原。如果单从引擎性能上来说,游戏领域的渲染引擎达到最好的渲染效果。目前,国内虚拟数字人主要通过Unreal、Unity游戏引擎对人物形象进行渲染。
据陈坚介绍,渲染成果主要关注好看和好用两个方面。其中,好看是指视觉效果上能做到什么样的精细程度,而好用功能上,首先要考虑多个角色同台时渲染的效果,在直播过程中能否及时调整细节。“这些才是决定你的虚拟数字人产品化程度的关键”。
近期,元宇宙概念爆火,不少行业人士提到元宇宙的落地可能会分为几个阶段,其中用户的数字分身可能会在第一阶段率先落地,因为无论是在虚拟世界里还是在物理世界中,人都是不可缺少的组成部分。
尽管目前虚拟数字人赛道上已经逐渐升温,但距离虚拟数字人赛道爆发还差了一些“火候”,比说在制造门槛等问题上,虚拟数字人发展仍然面临一些挑战。
一方面,虚拟数字人的制造门槛仍是将绝大部分的用户拒之门外,不但无法让虚拟数字人赛道拥有更多样的玩法,同时也无法创造新的价值空间。
“我觉得当虚拟人市场的活跃用户数量达到上万,甚至是数十万,并且有相当比例的用户愿意为虚拟人二次复购的时候,虚拟人市场才能称上有比较稳定的商业模式。”
他举了个例子,当某个虚拟数字人群体拥有上万的用户群体,每次某个虚拟人开播可以有百人左右的在线用户,并且能拿下五十个左右的订单。当这种商业模式可持续发展时,虚拟数字人的商业模式才算成功。
此外,VR/AR设备将会为虚拟数字人带来全新的交互方式。陈坚提到,“虚拟数字人可能会成为元宇宙的入口,因为只有当人人都拥有虚拟数字人之后,元宇宙才初见雏形”。
但在这其中,VR设备将是连接虚拟数字人和元宇宙之间的重要桥梁。“当我们通过VR/AR设备把社交聊天、剧本杀这类活动移到在虚拟空间完成,并且所有的用户都能拥有自己的虚拟分身时,元宇宙可能会迎来一轮新的爆发。”
根据现有的资料看来,虚拟数字人在概念上、商业盈利模式上以及市场规模上都处于比较早期的阶段。无论是动作捕捉技术,还是渲染技术方面,如今的虚拟数字人行业仍是面对企业市场为主,但部分业务也开始尝试在C端市场落地。