EyeWay 注视点激光扫描AR眼镜深度体验：优点、缺点和挑战

    近眼显示光学专家卡尔·古塔格（Karl Guttag）早前体验了AR眼镜厂商EyeWay Vision的产品，并撰文对其注视点激光扫描显示器进行了分析，包括优点、缺点和挑战。下面是第一部分整理：

    1. 介绍

    我早前曾前往圣何塞参观体验EyeWay Vision的产品。这家公司制定了一个雄心勃勃的计划来尝试解决AR中的一系列重要问题。团队正在开发一种基于双激光束扫描（Laser Beam Scanning，LBS）的直接视网膜投影注视点显示器。根据论文和专利，苹果、Facebook和微软都在LBS注视点显示器方面投入了大量精力。

EyeWay的原型系统

    我事先已经知道原型相当巨大且功能有限，因为几个关键方面依然在开发之中。最重要的是，目前原型属于将“固定注视点”和眼动追踪整合在一起的过程中。EyeWay有一个单独的眼动追踪演示，并计划在今年下半年将视网膜追踪与注视点图像运动相结合。

    就在我出发前不久，我询问EyeWay是否可以拍照，团队表示我可以（这给我留下了深刻的印象）。最后，由于机械限制需要从原型中移除一个零件，所以我无法拍出最好的照片。EyeWay提出用原型重新拍摄照片，然后寄给我未经修改的照片。我本人可以确认所述照片与我亲眼所见，以及我用自家相机拍到的一致。

    原型的目的是展示相关技术方法的潜力。这有点像是研发项目的幕后一睹。和之前所有的文章一样，大多数图片都可以点击查看更大、更高分辨率的版本。

    2. EyeWay与Hololens 2的快速比较

    我首先想指出的是，根据定义，注视点显示器通过将“注视点显示器”移动到眼睛中心凹在任何时刻瞄准的任何位置，以这种方法来欺骗眼睛看到高分辨率图像。当你拍摄注视点显示器的照片时，相机会捕获单个高分辨率注视点图像、过渡/混合区域、以及低分辨率外围图像。

    我同时想说的是，我亲眼看到过一系列不同的LBS生成图像，包括前置投影仪和近眼头显。对于LBS生成图像，注视点图像的图像质量令人印象深刻，并且比大多数AR应用程序所需的图像质量要好。

    下面是EyeWay原型和HoloLens 2以相同比例拍摄的相同画面的照片。在这两种情况下，左眼都在注视点区域中央。

    可以看到，不仅是EyeWay的注视点区域图像在各方面都要优于Hololens 2，甚至EyeWay的外围图像看起来都更好。请注意，你在Hololens 2图像中可以看到扫描线，而EyeWay原型的两个区域都不可见。

    我将在以后的文章中讨论EyeWay的图像质量，但我想让你快速体验一下。

    3. 有趣的演示内容

    在深入探讨技术要点之前，我想首先评论EyeWay的演示内容。由于激光的扫描过程，用静止相机或摄像机无法很好地捕捉到实时飞龙的动画。即使注视点显示器目前为固定，你都可以移动显示器来查看任何选择区域的细节。

遗憾的是，这是你必须亲眼感受的演示内容之一。

    我同时希望指出的是，EyeWay的部分演示内容展示了看出窗外的图像，以证明在需要时显示器可以非常明亮。

    4. 追逐“圣杯”

    EyeWay尝试解决AR中众多不同但相互关联的问题。可以说，他们正在追逐一个能够同时解决AR大部分已知问题的圣杯。

    高分辨率和宽视场（FOV）

    非常亮（支持超过10000尼特）以支持室外使用，非常暗（约1尼特）以支持夜间使用

    只投射到视网膜而不是眼睛周围（效率和形象问题）

    高度精确地追踪视网膜而不仅仅是角膜

    高效，同时支持大眼球运动

    低功耗同时支持高亮度

    解决视觉辐辏调节冲突（VAC）

    小而轻，同时支持以上所有要点

    EyeWay目前离目标依然有很长的路要走，但正在用有趣的技术来解决一些重要的问题。团队使用激光扫描的显示方法迫使他们解决可能是最困难的问题：即在一个可用的显示器中实现精确的眼动追踪。

    5. 注视点显示器背景

    简单地说，不同于相机，人类视觉的工作原理不是用大小/分辨率都相同的像素阵列来拍摄一张快照。

    眼睛只有一个非常小的区域具有高密度的锥体细胞以支持高分辨率和辨别颜色。下面的图表显示了视网膜的中心区域（左），视锥细胞在眼睛中的物理分布（中），以及相对视敏度（右）与中央凹中心的夹角。视力最高的中央凹仅占眼底3度左右。如视力表所示，人类的视力从中央凹的中心急剧下降。

    眼睛不断地以一系列名为“扫视”的跳跃式运动进行移动。人类的视觉系统在扫视之间掩蔽，我们将这一过程称作扫视掩蔽（Saccadic Masking）（这里是一个关于扫视掩蔽的3分钟视频）。然后，人类视觉系统通过在每次扫视时以不同的分辨率将一系列“快照”拼接在一起，从而建立起人们所看到的画面。这是一个非常复杂的过程，大多数时候无法察觉。

    真正的注视点显示器具有一个高角度分辨率的“注视点投影仪”，它可以移动/追踪眼睛的扫视。注视点投影仪总是以中心凹为中心呈现高分辨率图像，但中心凹非常小。然后它同时具有至少一个“外围投影仪”，外围投影仪视场更宽，但角度分辨率较低。如果实现正确，人眼应该能感知到一个单一的、非常高分辨率的显示画面。

    6. 双激光束扫描（LBS）直接视网膜投影

    EyeWay有两个LBS投影仪，每个投影仪具有名义相同的SVGA（800×600像素）分辨率。但当它们都投射到视网膜上时，注视点投影仪不仅以高分辨率覆盖了小小的中心凹区域，而且它支持可变焦。

7. EyeWay的注视点投影仪不是“麦克斯韦式”，与其他LBS投影仪不同

    经典的激光束扫描投影仪属于“无焦点”，不需要光学元件就能看到图像。不需要光学聚焦的投影仪被称为“麦克斯韦显示器”。为了更好地讨论麦克斯韦显示器，我建议你下载《Accommodation-Free Head Mounted Display with Comfortable 3D Perception and an Enlarged Eye-box》这篇研究文章。尽管麦克斯韦显示器通常与激光束扫描有关，但正如论文指出，其他形式的显示器同样可以是麦克斯韦显示器（见下图）。

    应该注意到，尽管HoloLens 2使用LBS投影仪，但当它通过波导的光瞳扩展时，它就不再是麦克斯韦（包括无焦点）。

    麦克斯韦显示器无焦点，高度准直，如果光束遇到任何障碍，它会投射非常锐利的阴影。

    几乎所有30岁的人都存在“飞蚊症”（悬浮在玻璃体中的无害物质）。除非有人能够眼睛发光，否则它们大多不会被注意到。遗憾的是，当麦克斯韦投影仪射入眼睛时，这种漂浮物会变得非常明显。我在其他直接视网膜激光扫描显示器看到过这个问题，包括QD Laser的RETISSA、North Focus、以及Bosch在CES 2020大会展示的激光AR眼镜（见下图）。

    尽管EyeWay的外围显示器属于麦克斯韦，而且当我从中心看向别处时，我可以看到眼睛的漂浮物，但注视点显示不是麦克斯韦。我在注视点图像中看不到任何漂浮物。

    注视点图像没有漂浮物证明EyeWay的方法与其他激光扫描投影仪非常不同。

    另外，EyeWay可以控制注视点投射器的视焦点，以缓解视觉辐辏调节冲突。

    8. 视窗（Eye Box）比瞳孔小

    麦克斯韦近眼显示器的传统的问题是（特别是视网膜激光扫描），投影图像要么进入瞳孔，要么完全丢失。所有其他显示类型都通过生成一个大视窗来避免这个问题，这样无论眼睛相对于眼镜移动到哪里，图像都是可见。

    但产生一个大视窗意味着绝大多数的光都被浪费，因为唯一重要的光是进入瞳孔的光。在社会形象方面，当一个人的眼睛区域亮着的时候，这不仅仅只是有点奇怪。在军事应用中，夜间点亮眼睛会暴露士兵的位置，而这一点更为重要。

    使用直接视网膜激光扫描的North Focals存在一个问题：每套眼镜都需要定制，但即使这样都很难看到图像。North包括一个4向光瞳复制器，尽管这意味着你有四个方向可以看到图像，但同时意味着你可以看到残影和重影。

    《Accommodation-Free Head Mounted Display with Comfortable 3D Perception and an Enlarged Eye-box》通过使用一组庞大的分束器来将4向调到9向。下面的图片来自相关视频中的一系列静止帧，它们显示了复制图像与瞳孔对齐的效果。

EyeWay的方法消除了通过追踪眼睛产生比瞳孔大的视窗的需要，如下面的短片所示：

    尽管微软的HoloLens 2使用激光束扫描，但它不是波导后的麦克斯韦。他们的衍射光栅波导大量复制了输入光瞳，并创造了一个类似于WaveOptic波导图的大视窗。

9. EyeWay的双扫描注视点显示器

    下图是从包含整个中央凹区域和外围区域的图像中心部分的裁剪。在这张特殊的照片中，扫描过程中的消隐滚动条（被相机捕捉到，但人眼看不见）恰好在中央凹区域的垂直部分被两个扫描过程捕捉到。消隐可允许你看到显示对组合图像的贡献。

    注视点图像，包括注视点和外围图像都明显的过渡区域，以大约60像素/度（每像素1弧分）覆盖大约12度乘6.6度。然后，外围显示器水平覆盖约44度，垂直覆盖约25度（对角线覆盖约50度），每度覆盖约18像素（约3.3弧分/像素）。

    与Varjo在AWE 2019展示的AR显示器相比，EyeWay的注视点图像大约是其水平和垂直角度大小的1/2。包括过渡混合区在内，Varjo显示器的注视点部分约为21度（H）x 13度（V）。但Varjo的透视AR属于“固定注视点”。

    Varjo在2017年谈到了眼动追踪注视点显示器，但最终在2018年推出了一款带有透视AR的“固定注视点”（不是移动高分辨率中心区域）显示器，。EyeWay的方法具有较小的注视点显示器，并且取决于注视点显示器追踪视网膜，以防止用户注意到注视点区域到外围边界的过渡。

    EyeWay要求眼睛跟踪，这不仅是为了支持注视点显示器，同时是为了帮助图像进入眼睛瞳孔。EyeWay别无选择，只能解决精确的眼动追踪问题。与Varjo不同，EyeWay不能回到固定注视点显示器。

    10. 视网膜追踪而不是瞳孔追踪

    将眼动追踪与激光扫描视网膜投影仪结合使用的概念至少可以追溯到汤姆·弗内斯（Tom Furness）在1995年的的一项专利（已过期）。

    EyeWay向我演示了他们的视网膜追踪，但它是由实验室仪器显示，尚未控制注视点投影图像。

    大多数其他眼动追踪努力只考虑角膜和虹膜。Facebook的迈克尔·亚伯拉什（Michael Abrash）曾就注视点显示器的眼动追踪问题、精度需求、以及角膜和虹膜追踪问题进行了3分钟的精彩讨论。

Facebook Reality Labs定期在论文和视频中讨论与光瞳控制相关的问题，通过眼动追踪用一个小视窗投射到视网膜。

    Facebook Reality Labs曾多次讨论眼动追踪和注视点显示器。Facebook Reality Labs的显示系统研究总监道格·兰曼（Doug Lanman）在SPIE AR/VR/MR 2020大会的一段视频中讨论了与光瞳转向相关的问题，并在2019年的论文中引用了视频中的参考资料。这里的一个关键点是，基于注视点激光扫描的显示器获得了Facebook AR Research的大量关注。我应该指出的是，EyeWay自2014年公司成立以来就一直致力于这项技术。

    EyeWay指出，他们使用了两个注视点追踪镜，而不是一个，正如2017年Vajro的评论和Avegant所示。EyeWay指出，两个转向镜可支持4个自由度，并能更好地追踪眼睛。

    EyeWay的解决方案通过追踪视网膜来将眼动追踪提升到一个新的水平，从而实现对注视点显示器必需的精度。EyeWay的眼动追踪利用多个阶段进行追踪，而最精确的阶段通过移动注视点图像的相同路径来追踪视网膜。

11. 许多公司正在研究注视点显示器

    注视点显示器的基本概念相当久远，许多公司曾经在VR和AR方面进行过尝试。仅举几个例子，下面是微软、Avegant、苹果和Varjo的注视点显示器概念集。如上所述，Facebook多年来一直在探索注视点显示器、眼动追踪和视网膜激光扫描领域。

    我没有时间详细介绍每种方法，但我想指出的是，所有从事AR的巨头和一系列初创公司都在考虑是否采用包含或不包含激光扫描的注视点显示器。

    有趣的是，微软和苹果都展示了上述的激光扫描方法，并且必须借助半反射镜或全息镜反射。Avegant是唯一一家研究基于波导的注视点显示器，而Varjo则专注于透视AR，所以光学方面要简单得多。

    当Varjo在2017年谈到追踪眼睛的时候，我没有看到一个注视点显示器移动。他们提供的设备和我看过的任何演示都采用“固定注视点显示器”，高分辨率注视点区域不动。当眼睛中心保持在30度左右，这种固定显示器在大部分时间内都能正常工作。

    查看引用/信息源请点击：https://kguttag.com/2021/07/13/exclusive-eyeway-vision-part-1-foveated-laser-scanning-display/