苹果委由台积电代工5nm先进制程生产AR/VR设备芯片
9月7日消息,据外媒报道,苹果委由台积电代工5nm先进制程生产AR/VR设备芯片,除了主控芯片外,还有2颗内置芯片,总计3颗芯片都已经设计好,不久后将开始试产。
据爆料,性能上,这款芯片没有内置AI引擎的加速模块,不如iPhone、iPad、Macbook上的芯片强大,但该芯片的目的是在头显和主机之间优化无线数据传输、视频压缩、解压缩和电源效率,延长电池使用时间。搭载此芯片的AR / VR 头戴式设备,要与iPhone或其他苹果装置连结,功能才能完整解锁。
尽管许多巨头都对AR/VR市场进行了着重布局,但当前芯片和光学显示问题仍是行业痛点。
1
AR/VR作为一项新兴技术,在前期发展中很多厂商都是使用手机主芯片进行产品设计的,但随着AR/VR热度提高,逐渐有厂商推出定制化的AR/VR芯片。
对于XR 芯片布局,芯片巨头高通早早就瞄准这一细分市场,从手机处理器835、845到XR专用处理平台骁龙 XR1、XR2等,其XR芯片逐渐在 VR/AR 硬件市场中占据统治地位。国产芯片阵营则以瑞芯微、全志科技为代表,构建芯片产业新窗口。
高通骁龙XR2平台
骁龙XR2平台是高通在2019年底发布的一款支持5G的扩展现实(XR)平台,结合了高通在5G、AI和XR领域的技术。
视觉上,1.5倍像素填充率和3倍纹理速率,实现了高效高品质的图形渲染;支持眼球追踪的视觉聚焦渲染。
交互上,引入七路并行摄像头支持和定制化的计算机视觉处理器,可以高度精确的实时追踪用户的头部、嘴唇和眼球,支持 26 点手部骨骼追踪。在丰富的3D空间音效中提供全新水平的音频层,清晰的语音交互,集成定制的始终开启的、低功耗的Hexagon DSP,支持语音激活、情境侦测等。
备受瞩目的 Oculus Quest 二代,就采用了高通骁龙 XR2 芯片组。
瑞芯微RK系列
RK3588是瑞芯微推出的新一代旗舰级高端处理器,四核A76+四核A55的八核CPU和Mali新一代odin四核GPU,内置6T算力的NPU。具备强大的视觉处理能力,可支持结构光、TOF等多种快速人脸解锁方案;有强大的扩展性,支持PCIE3.0、SATA3.0、双TypeC/USB3.1等高速接口,可做AI算力、图像数据处理等扩展。
RK3566和RK3568采用第三代AI处理器,四核 Cortex-A55,G52 GPU,内置0.8T NPU。RK3566拥有高性能的CPU和GPU,具有强大的多媒体处理能力;RK3568具有全链路ECC、安防级ISP、三屏异显等特性。
全志科技H8VR芯片
全志科技针对VR装置推出专属H8VR芯片,主要用于中低端视频播放 VR 设备。8核ARM Cortex A7处理器以及PowerVR SGX544 GPU,4K影像处理功能,具备存储器与储存空间,无须与PC或手机联机也能畅享视频。
2
除了芯片外,光学模组也是AR关键技术之一。
要有更大的视场角,要有清晰的显示效果,要有优秀的透光度,要有精准的色彩还原……
AR的光学需要在提供清晰虚拟图像的同时满足实景高穿透,以保证虚实交互的真实感,这对光学设计来说是一个很大的挑战。
目前比较成熟的光学显示方案主要有:棱镜方案、birdbath方案、自由曲面方案、离轴全息透镜方案和波导方案。
前三种方案的产品体积较大,因此很难应用到AR眼镜中。
棱镜方案
原理是投影仪通过棱镜将图像直接反射到人眼视网膜中,与现实图像相叠加。但这套系统的弱点是视场角与体积难以兼得。
以Google Glass为例,其视场角仅有15°,光学镜片却有10mm的厚度,亮度不足,图像畸变,因此产品投放市场不久便被公司撤回。
Birdbath方案
此方案的光学设计是把来自显示源的线投射至45度角的分光镜上进行反射和透射,在允许光线进行部分反射,显示数字影像的同时,可以看到现实世界的物理对象。
联想MirageAR头显(左)与ODG R8和R9(右)就采取了这个方案。其中ODG有50°的视场角,其厚度却超过20mm。
一般采用有一定反射或透射值的自由曲面反射镜。自由曲面是一种有别于球面或者非球面的复杂非常规面形,不仅能为光学系统的设计提供更多的自由度,还能带来更加灵活的结构形式。
最具代表的就是美国梦境视觉公司的Meta2系列AR眼镜,虽然有90°的视场角,但是其厚度超过50mm,仅光机系统重量就约为420克。
这种系统将全息光学元件作为耦合元件,结构紧凑,降低了对全息光学元件设计和加工的难度,也降低了全息透镜的色散,具有大FOV和小体积的优势。
得益于全息片独一无二的光学特性,Realmax乾采用多个特殊面型的离轴反射大自由曲面和非对称比例半反半透纳米镀膜,特制高亮液晶屏研发双通道透视镜片,实现了极端的119.5°超大视场角。
此外,乾搭配的遮光片极大的弥补了图像色彩清晰度的问题,还让乾能任意切换AR/VR模式,创意与设计兼得!
波导方案又可以分为几何波导和衍射光波导两种。
基于波导技术的AR眼镜,一般由显示模组、波导和耦合器三部分组成。显示模组发出的光线被入耦合器件耦入光波导中,在波导内以全反射的形式向前传播,到达出耦合器件时被耦合出光波导后进入人眼成像。
AR头显作为AR技术的关键环节,本身就具有很高的技术壁垒,唯有深耕技术领域,不断创新、突破,以科技引领发展,才能打破壁垒,实现AR产品全面爆发!