苹果3D视觉报告：3D视觉深度拆解与分析 （中篇）
编者按：本文来自微信公众号“海通电子研究”（ID：htzqdz），作者 海通证券电子团队。
苹果3D视觉结构光方案分析
结构光先驱PrimeSense（苹果收购）方案分析
以色列公司PrimeSense创立于2005年，于2006年研发出3D传感器，在当年的 E3 大展上与微软建立了联系，在2009年E3大展时，微软发布了内置PrimeSense 3D传感器的Kinect一代。2010年年底，PrimeSense 与华硕合作开发了Xtion Pro，和Kinect采用了同样的3D传感器。2012年，PrimeSense推出了当时世界上体积最小的3D传感器Capri。由于Primesense在2013年被苹果收购，不再对外输出技术，因此微软在2014年的Kinect 2.0上开始使用自己的3D传感器。
Primesense的核心技术为Light Coding光编码技术，属于结构光技术的一种，是目前最具代表性的结构光技术。结构光技术就是用光源照明给需要测量的空间编上码，将一维或二维的特定图像投影至被测物体上，根据图像的形变情形，判断被测物体的表面形状和深度信息。与普通结构光方案（如英特尔Realsense结构光方案）不同的是，Light Coding的光源称为“激光散斑”，是激光照射到DOE衍射光栅后形成的衍射斑点，只要在空间中打上这样的结构光散斑，整个空间就被做了标记，把一个物体放进这个空间，只要分析物体上面的散斑图案，就可以知道这个物体的位置信息，从而可以非常快的进行景深信息的采集和捕捉。
Primesense的Light Coding 就是以红外线发出激光，透过镜头前的DOE（衍射光栅）形成激光光斑，随后均匀分布投射在测量空间中，再透过红外线摄像头记录空间中的每个散斑，获取原始资料后，再透过芯片计算成具有3D深度的图像。
因此，拆解微软Kinect1代产品，我们可以看到，其主要的零部件包括：红外光发射器、红外CIS传感器、可见光传感器、核心数据处理芯片（PS1080）。
Primesense结构光方案的工作流程是：红外激光器发射近红外光，经过DOE等光学器件的编码形成激光散斑，随后投射到空间物体上；激光光斑投射到物体上之后会发生位移变化，红外CIS采集变形之后的光斑信息，将信息传送至PS1080芯片，经过芯片内算法的计算可以得到物体的Z轴深度信息；可见光CIS采集物体的XY轴平面图像信息，同样传送至PS1080芯片，平面信息与深度信息综合处理便可以得到空间内物体的三维信息。
在芯片方面采用的是Primesense自制的PS1080系统级SOC芯片，可以提供640*480分辨率图像，x/y平面分辨率3mm（2m距离情况下），深度精度为1cm。PS1080芯片拥有超强的并行计算逻辑能力，可控制近红外光源，进行图像编码并主动投射近红外光谱。同时，通过一个标准的红外CMOS图像传感器接收投影的Light Coding 红外光谱并且将编码后的反射斑点图像传输给PS1080，PS1080对此进行处理并生成深度图像。
3D视觉结构光方案产品整体结构分析
通过拆解结构光先驱Primesense的产品结构，可以看到整个结构光产品方案主要由四部分组成：TX发射部分（IR Projector，主要为红外光发射器IR LD）、RX接收部分（IR Camere，主要为红外光图像传感器IR CIS）、RGB可见光图像传感器（Vis CIS）、专用数据处理芯片（Processor Chip）。
3D视觉结构光方案的产品结构，我们也可以在英特尔Realsense近距离结构光方案中得到证实。英特尔Realsense近距离3D视觉方案主要基于结构光原理，由一个红外发射器、一个红外传感器、一个可见光色彩传感器和一颗实感图像处理芯片组成。红外发射器发射近红外光到物体表面，红外传感器与色彩传感器分别采集物体的深度图像和平面图像，最终经过实感芯片的处理得到三维位置信息。
因此，我们可以总结出，典型结构光3D视觉系统的工作原理为：首先红外激光发射器（IR LD）发射出近红外光（IR Light）特定图案（如激光散斑等），经过物体（如人手或人脸等）的反射之后，形变之后的图案被红外图像传感器（IR CIS）所接收，经过算法计算出人手/人脸所处的位置（Z轴）；同时，可见光图像传感器采集二维平面（X与Y轴）的人手/人脸信息（Vis Light）；两颗图像传感器的信息汇总至专用的图像处理芯片，从而得到三维数据，实现空间定位。
3D视觉结构光方案深度拆解与供应链分析
3D视觉结构光方案——TX红外发射部分
TX红外光发射部分是整个3D视觉重要的组件之一，提供最核心的近红外光源，其发射图像的质量对整个识别效果至关重要。采用结构光方案的3D视觉相比于TOF方案要复杂得多，主要是结构光方案需要采用pattern图像（如激光散斑等）进行空间标识，因此需要定制的DOE（衍射光栅）和WLO（晶圆级光学透镜，包括扩束元件、准直元件、投射透镜等）。
整个TX发射部分的工作原理如下：
1）首先激光发射器VCSEL发射出特定波长的近红外光（一般为880nm/910nm/940nm），光束准直性好、光束横截面积窄的高斯光束。
2）先经过光束整形器Beam Shaper形成横截面积较大的、均匀的准直光束。Beam Shaper主要包括扩束元件（Beam Homogenizer）和准直元件（Collection Lens），扩束元件的作用在于将激光扩大横截面积，从而使激光束的横截面积可以覆盖后面的衍射元件，准直元件的作用是将扩束之后的激光重新调成平行光。
3）穿过Beam Shaper的激光随后经过DOE衍射光学元件形成特定的光学图案pattern。
4）经过DOE形成的光学图案再经过最后的投射透镜（Projection Lens），便可以从TX发射部分发射出去。
4.1.1VCSEL是近红外光源最佳方案
目前，可以提供800-1000nm波段的近红外光源主要有三种：红外LED、红外LD-EEL（边发射激光二极管）和VCSEL（垂直腔面发射激光器）。
综合分析三种方案，LED虽然成本低，但是发射光角度大，必须输出更多的功率以克服损失。此外，LED不能快速调制，限制了分辨率，需要增加闪光持续时间；边发射LD也是手势识别的可选方案，但是输出功率固定，边缘发射的模式在制造工艺方面兼容性不好；VCSEL比LD-EEL的优势在于所需的驱动电压和电流小，功耗低，光源可调变频率更高（可达数GHz），与化合物半导体工艺兼容，适合大规模集成制造。尤其是VCSEL功耗低、可调频率高、垂直发射的优点，使其比LD-EEL更加适合消费电子智能终端。
目前，全球范围内主要的VCSEL供应商包括Finsar、Lumentum、Princeton Optronics、ⅡⅥ等公司，它们在移动端VCSEL处于前沿的研发角色。具体的生产分为IDM和代工两种方式，在代工模式下，由IQE、全新、联亚光电等公司提供三五族化合物EPI外延片，然后由宏捷科、稳懋等公司进行晶圆制造，再经过联钧、矽品、同欣（基板）等公司的封测，便变成了独立的VCSEL器件。
目前，致力于移动端小型化VCSEL方案设计的公司主要包括Finsar、Lumentum、Princeton Optronics（已被AMS收购）、ⅡⅥ等国外光通信器件公司。国内方面光迅科技、华芯半导体具备中低端VCSEL的设计和生产能力，长春光机所在VCSEL技术研发方面有一定竞争力。但是整体而言，国内公司与海外巨头相比差距较大。
近年来，国内在VCSEL方面开始出现优秀的创业型公司，比如2016年1月创立于美国硅谷的纵慧光电，已经做出了具备高效率、高性能的VCSEL芯片产品，涵盖了850纳米和940纳米这两个波段，有望应用于3D视觉消费级市场。
根据Lumentum在17年二季度的财报说明会，其消费级VCSEL产品订单从上季度的500万美元大幅跃升至2亿美元，根据美国和台湾产业链（如BI、科技时报等）的分析，订单主要来自于苹果公司。我们判断，Lumentum将为苹果新一代iPhone8提供3D相机中的VCSEL器件，而且是主力供应商。除了Lumentum之外，II-VI公司也在苹果供应链之列，同时菲尼萨也有望加入。
在3D视觉结构光方案中，必须采用特定的pattern光学图案（如激光散斑等）实现深度信息的测量，因此DOE对于结构光方案是至关重要的核心部件之一。
DOE衍射光学元件的产业链结构主要为：DOE光学图案设计、DOE制造与加工、光学元件模组封装，此外还需要原材料（主要为特种石英玻璃、光敏玻璃等）与精密光学加工设备（如光刻机等）这两大支持性辅助环节。
目前具有先进DOE设计与制造的公司不多，全球范围内主要供应商有德国CDA、法国Silios、德国Holoeye等，特别是在移动端微小型DOE器件方面还没见相关产品。根据台湾科技媒体中时电子报的分析，高通目前正积极研发3D视觉结构光方案，在DOE和WLO方面，将采用Himax奇景光电的方案。国内方面，目前未见具有DOE设计与加工能力的公司。
根据我们前文对结构光TX部分的分析，由VCSEL发射的近红外光，首先经过光束整形器Beam Shaper（主要包括扩束元件Beam Homogenizer和准直元件Collection Lens）形成横截面积较大的、均匀的准直光束。然后经过DOE形成的光学图案再经过最后的投射透镜（Projection Lens），才能够从TX发射部分发射出去。
目前在体感交互产品上使用3D视觉结构光方案时，对器件的体积要求不高，如英特尔Realsense前置结构光产品采用普通的光学透镜和DOE器件，器件尺寸大。
为了将结构光方案应用于移动端消费电子产品，发射端器件在体积和尺寸上需要压缩，因此光束整形器Beam Shaper和投射透镜Projection Lens都是采用WLO（晶圆级光学器件）工艺加工而成。
所谓WLO晶圆级光学器件，是指晶元级镜头制造技术和工艺。与传统光学器件的加工技术不同，WLO工艺在整片玻璃晶元上，用半导体工艺批量复制加工镜头，多个镜头晶元压合在一起，然后切割成单颗镜头，具有尺寸小、高度低、一致性好等特点。光学透镜间的位置精度达到nm级，是未来标准化的光学透镜组合的最佳选择。
与传统光学透镜加工不同的是，WLO工艺更加适合移动端消费电子设备。特别是在3D视觉发射端结构复杂的情况下，光学器件采用WLO工艺，可以有效缩减体积空间，同时器件的一致性好，光束质量高，采用半导体工艺在大规模量产之后具有成本优势。
与传统光学透镜设计与加工普遍采用的简单流程和工艺不同，WLO工艺由于是采用半导体工艺和设计思路进行光学器件的制造，因此整个流程更加复杂，无论是设计流程还是加工环节，都需要更加先进的设计思路和更加精细的加工处理，因此相应加工附加值高。
在苹果3D视觉结构光方案中，根据美国产业链（如TechCrunch等）的信息，Heptagon（已被AMS奥地利微电子收购）将提供TX发射端WLO晶圆级光学透镜，这主要是Heptagon已经在WLO设计领域积累了众多专利，技术实力强。此外，根据TechCrunch的分析，来自台湾的Himax奇景光电也是未来潜在供应商。
国内方面，半导体封测厂华天科技和晶方科技在WLO方面布局较早，主要提供WLO后段加工技术，特别是华天科技具备成熟的加工技术，未来有望受益。
3D视觉结构光方案——RX红外接收部分
在3D结构光方案中，RX红外接收部分主要为一颗红外摄像头，用于接收被物体反射的红外光，采集空间信息。该红外摄像头主要包括三部分：红外CMOS传感器、光学镜头、红外窄带干涉滤色片，在基本结构上与目前主流的可见光摄像头类似，但是在具体的零部件方面存在差异：1）可见光CMOS传感器需要识别RGB三色，对分辨率的要求高，红外CMOS只需要识别近红外光，分辨率要求不高；2）可见光摄像头需要红外截止滤色片将红外光截止掉，只通过可见光，而红外摄像头只通过特定波段的近红外光，而将可见光截止掉，因此需要窄带滤色片；3）由于可见光摄像头对图像分辨率要求高，因此光学镜头的设计非常复杂，红外摄像头对光学镜头的要求不高。
红外CMOS图像传感器（IR CIS）用来接收被手部或脸部反射的红外光，在技术上这是一个比较成熟的器件。在搭载虹膜识别功能的三星Note7和富士通ARROWS NX F-04G手机中均出现IR CIS。
在3D视觉方案中，红外CMOS传感器用于接收被物体反射的红外光图像，与可见光CMOS在原理上是一致的，区别在于可见光CMOS传感器需要识别RGB三色，需要呈现高清图像，因此对分辨率的要求高，而红外CMOS只需要识别与发射光相对应的特定波段近红外光，同时红外CMOS的作用在于获取深度信息，在结构光方案中只需要采集红外pattern被物体反射之后的图像，因此分辨率要求低。目前，2M像素的红外CMOS即可以满足一般的3D视觉要求（如手势识别、人脸识别等）。
由于目前3D视觉刚刚起步，不同厂商采用的图像识别方案不同，对红外CMOS的要求（如分辨率、响应速度等）不同，因此在3D视觉方案中所需的红外CMOS需要特制。
目前，红外CMOS图像传感器供应商主要包括意法半导体、奇景光电、三星电子、富士通、东芝等公司。根据Yole的分析，意法半导体已经开发出了可能用于iPhone 8的3D成像红外传感器，将于17年下半年开始大规模为苹果提供红外CMOS图像传感器。该芯片将由意法半导体设计、由台积电代工制造、由同欣电提供晶圆重组（RW）。
国内方面，目前涉足红外CMOS传感器的公司不多，思比科公司布局较早，根据公司公开信息，已经设立专门团队进行200万、500万高红外灵敏度专用CMOS图像传感器的研发和推广，已经推出了红外专用的SP9250、SP9550、SP9260三款产品，较传统摄像用图像传感器的红外响应提高了约50%。
在红外传感器方面还存在另外一种方案，就是已经在手机用距离传感器中所使用的的SPAD（单光子雪崩二极管），可以实现跟红外CMOS同样的功能，对红外光进行检测，如iPhone 7中所使用的的意法半导体提供的SPAD传感器。
目前红外CMOS传感器有一个较大的问题就是散热困难，使得整个芯片需要额外增加金属散热片。SPAD相比于红外摄像头结构简单、体积小巧、成本低、器件散热性好，但是其功能有限，分辨率难以提升，只能够跟踪少量、少范围的红外光，在距离传感器中绰绰有余，如果要实现高质量的3D成像的话，SPAD效果不如红外CMOS，现有的SPAD需要技术升级。根据咨询机构YOLE的分析，SPAD升级之后，也可以作为“成像仪”用于3D视觉中作为红外探测器使用，从而降低成本，解决散热问题。
对于3D视觉而言，IR红外摄像头与RGB可见光摄像头在滤色片方面存在较大的差异。滤光片按光谱特性可分为带通滤光片、短波截止滤光片、长波截止滤光片。带通型滤光片指选定特定波段的光通过，通带以外的光截止，按带宽分为窄带和宽带，通常按带宽比中心波长的值来区分，小于5%为窄带，大于5%则为宽带。在3D视觉产品中，为了减少环境可见光线的干扰，普遍采用窄带干涉滤色片。
传统的RGB可见光摄像头，需要采用红外截止滤色片，将不必要的低频近红外光过滤掉，以免红外光线对可见光部分造成影响，产生伪色或波纹，同时可以提高有效分辨率和彩色还原性。但是红外摄像头，为了不受到环境光线的干扰，需要使用窄带滤色片，只允许特定波段的近红外光（如发射端光源波段相对应）通过。
目前近红外窄带滤色片主要采用干涉原理，需要几十层光学镀膜构成，具有较高的技术难度，因而比传统截止型滤色片的价值高。窄带滤光片的薄膜一般由低折射率和高折射率的两种膜组成，叠加后层数达几十层，每一层薄膜的参数漂移都可能影响最终性能。而且窄带滤光片透过率对薄膜的损耗非常敏感，所以制备峰值透过率很高、半带宽又很窄的滤光片非常困难。制备薄膜的方法有很多种，包括化学气相沉积、热氧化法、阳极氧化法、溶胶凝胶法、原子层沉积（ALD）、原子层外延（ALE）、磁控溅射等，而不同方法制备的薄膜性能差异很大，目前先进的窄带滤色片主要采用化学气相沉积镀膜制作而成。
根据美国《巴伦周刊》的报道，VIAVI公司将为苹果新一代iPhone 8提供近红外窄带干涉滤色片，双方已签署订单意向协议，苹果将向VIAVI采购1.5亿颗光学滤光片用于Iphone系列的3D视觉。目前国际上除了VIAVI之外，近红外窄带干涉滤色片的供应商还有布勒莱宝光学（Buhler）、美题隆精密光学（Materion）、波长科技（Wavelength）等公司。
国内方面，水晶光电在滤色片领域技术实力强，具有国际竞争力，是全球范围内滤色片的重要供应商之一。
4.2.3红外摄像头所用光学镜头要求不高
由于可见光摄像头对图像分辨率要求高，因此光学镜头的设计非常复杂。拍照质量除了与CIS的像素点数目和像素点尺寸有关，也与光学镜片的质量和数目有关，镜片的质量越好、数目越多，成像质量也越好，但是透镜数目决定了摄像头模组的高度。目前的智能手机光学镜头普遍由5P或6P镜片组成，更多的镜片可以用于增加透光率、改善画质，但也使得镜头的设计更加复杂。
红外摄像头对光学镜头的要求不如可见光摄像头的要求高，对光线的通光量、畸变矫正等指标容忍度高，目前3D视觉产品多采用成熟的普通镜头，国外光学镜头供应商包括大立光、玉晶光电、关东辰美等，国内方面舜宇光学、联创电子、旭业、川禾田等公司均可提供。
专用图像处理芯片——技术壁垒高
图像处理芯片需要将红外光CIS采集的位置信息与可见光CIS采集的物体平面信息处理成单像素含有深度信息的三维图像，完成3D建模，其数据处理和计算复杂度高于一般传统ISP图像处理芯片。因此，多为3D视觉方案厂商根据自家方案自行设计或与传统ISP巨头合作研发。
该芯片具有较高的技术壁垒，尤其是算法层面的要求较高，需要根据3D视觉方案处理深度信息，目前全球范围内可以提供该类产品的公司为少数几家芯片巨头，包括意法半导体、德州仪器、英飞凌等。
除了核心图像处理芯片之外，整个3D视觉方案还需要众多辅助性芯片，如音频处理、视频处理、存储、模拟、普通相机控制等，这些芯片已经非常成熟，在消费电子产品中大量应用。同时智能手机上已经搭载众多辅助性芯片，因此3D视觉可以直接使用已有的芯片。
可见光摄像头——非新增业务
在3D视觉体系中，无论是结构光方案，还是TOF方案，红外光线的作用都是采集深度Z轴信息，从而确定物体的景深信息，而物体的平面XY轴信息需要借助普通可见光摄像头进行采集，因此可见光摄像头对于3D视觉而言不可或缺。
但是，目前智能手机普遍至少配有两颗可见光摄像头（一颗前置、一颗后置），所以智能手机搭载3D视觉之后，并不需要额外增加可见光摄像头，直接利用手机上已有的摄像头即可，因此，3D视觉并未给可见光摄像头带来新的增量。
系统模组制造与组装——难度大、价值高
由于3D视觉方案涉及较多的硬件部分，需要红外发射激光器、红外接收摄像头、可见光摄像头、图像处理芯片四大部分的协同合作。特别是红外光的发射与接收之间的匹配对整个3D视觉方案的识别效果和准确度至关重要，因此整个系统模组的封装和集成是非常关键的。
目前3D视觉已经成功应用于类似于微软Kinect之类的体感交互设备中，但是该类设备体积较大，对整个系统的组装要求不高。随着3D视觉开始应用于智能手机等消费电子产品上，其系统模组制造与组装就变的十分重要。
移动端3D视觉模组制造难度大，主要体现在：1）TX发射端含有的DOE和WLO等精密光学元件，在组装时需要非常高的精确度，采用高难度的同轴度调整；2）发射端含有的VCSEL激光器，需要进行光谱检测和校准；3）TX发射端、RX接收端和可见摄像头是彼此独立的，三者在空间位置上的准确度和稳定性对于最终3D成像效果而言非常关键，需要高难度的匹配和校准。
根据台湾科技时报的报道，苹果3D视觉模组的组装（包括TX发射端组装、RX接收端组装、系统组装）将由富士康（系统组装与RX接收端组装）、LG Innotek（TX发射端组装）、Sharp（RX接收端组装）等几家公司负责。
在联想Phab2 Pro手机中，3D深度相机的模组封装与集成由舜宇光学完成。国内方面，除了舜宇光学之外，欧菲光、丘钛科技等摄像头模组公司也具有较强的技术实力。
风险提示：3D视觉技术移动端进程过慢；国内相关公司缺乏竞争力。
