Meta Reality Labs首席科学家:理想中全天候AR眼镜设计思路

Esther | 编辑

在VR行业,Meta是整个行业的风向标,而在AR领域,它也早已开始布局未来。虽然还未正式发布AR眼镜,Meta Reality Labs在AR技术的研发已经有多年时间。Meta认为,市面上现有的AR眼镜并不是真正理想的AR,它们的体积都相对笨重,达不到普通眼镜大小。而功能更强的AR头显(HoloLens 2、Magic Leap 2)外观更接近护目镜,比较笨重不适合全天候佩戴,而且外观设计不如眼镜自然。

也就是说,现有的技术依然从多方面限制AR发展,在Meta预期中,真正的AR需要全新的技术突破。实际上,在去年底举行的IEEE国际电子设备会议上,Meta Reality Labs首席科学家Michael Abrash就指出,理想的AR眼镜将需要全新的计算架构,同时还分享了Meta对此的构想,以及AR眼镜发展路径的规划。

Michael Abrash

Abrash表示:除了实现眼镜大小外,AR眼镜还需要具备全天续航和逼真的AR视觉效果。为了实现这些目标,AR硬件和软件需要一系列变革,这便是Meta推动的方向,比现有技术更创新的AR方案。这意味着,需要一种全新的计算架构,来满足眼镜大小AR设备的需求。

1,全天候续航

首先,为了提升AR眼镜的续航,降低散热,将需要降低硬件功耗。

Abrash表示:想要将移动设备的电源效率提升100到1000倍,将需要重新思考整个架构/系统,而且实现软硬件的端到端协同设计。也就是说,同时设计硬件和软件,开发出可无缝配合的完整方案。

Abrash公布了一张图表,以对比一些低级计算任务的功耗。其中,功耗最大的计算是数据传输,包括无线数据传输和设备内部芯片之间的数据传输。除此之外,还计算了AR关键功能SLAM和手势识别的功耗,其中主要来自于将数据从RAM输入和输出。

因此可以看出,要想降低AR眼镜的功耗,则需要减少数据传输量。为此,Meta希望设计一种分布式计算架构,其特点是能更广泛的分配计算操作,而不是在集中式计算中心传输数据,从而减少数据传输浪费

Abrash解释,构建分布式计算架构可以从AR眼镜的摄像头传感器开始,比如摄像头捕捉环境数据后可以先进行初步计算,然后再向系统管道发送最重要的数据。因此,Meta在设计AR眼镜的同时也在设计配套的软件系统,目的是让硬件设计考虑到软件算法的特性,尤其是传感器在捕捉到数据之后会进行预筛选,然后再传输到系统进行处理

这意味着,AR眼镜对于传感器的要求也会更高,不仅需要满足低功耗,还需要高性能、小尺寸,而这将需要图像传感等技术的突破创新。

2,定制传感器

目前,Reality Labs也在研发相机传感器原型,专为降低AR眼镜功耗、提升性能需求而设计。该传感采用一种名为“数字像素”的传感器阵列(DPS),特点是可以捕捉每颗像素在三种不同的光照级别中的数字光值,而每颗像素则有独立的内存来储存数据。捕捉到数据后,传感器系统会在三种数字光值中进行选择,然后再传输到计算芯片中。

这种设计的能效更高,在30fps刷新率时仅耗电5mW,约为常规传感器的25%。此外,该方案还支持扩展,刷新率可提升至480fps。

Abrash表示:这不仅降低了功耗,还大幅增强传感器的动态范围,因此可以在同一帧中同时捕捉高对比度的光影。

HDR功能对于未来的AR眼镜传感器非常重要,它可以让AR眼镜在室内、户外等各种亮度环境中稳定运行。

不仅如此,Meta希望在摄像头传感器上进行更复杂的计算。Abrash表示:未来,也可以在传感器上运行深度神经网络(DNN)的浅层部分,以实现眼球追踪和手势追踪等视觉分割/分类任务。当然,这还将需要更多的硬件创新,比如真正基于传感器的ML计算所需的超密集、低功耗内存技术。

Abrash指出,未来,MRAM技术将成为开发AR眼镜的关键因素。据悉,MRAM是一种磁阻式随机存取内存,它的特点是拥有SRAM静态随机存储器的高速读取写入能力,以及DRAM动态随机存储器的高集成度,基本支持无限次重复写入。Meta的分布式AR计算架构将与端到端系统结合,以此来改善功耗、传感范围和硬件体积等方面。

另一方面,Meta认为AR的前景是根据传感数据来推断周围的环境,并不一定要一比一复制真实环境,因此用算法来推断很重要。还提出,AR半导体技术需要三项关键创新:

1)体积最小化、新材质;
2)异构集成,先进的封装技术等;
3)软硬件协同设计,实现内存为中心的计算、传感器内置计算。

更重要的是,AR光学显示领域也需要创新的半导体方案,全天候、时尚的AR眼镜需要优化亮度、对比度、分辨率、色深、色域、光效、像差、伪影、透光性、FOV、体积和重量等方面,而目前市面上的AR方案(2D反射显示、激光扫描、发射显示器等等)还不具备这样的水平。

接下来,Meta看好超小像素间距的microLED方案,它现在已经具备体积、亮度、分辨率等优势,未来还需要提升效率损失,以及高折射率半导体的光结构等方面。

发表评论

您的电子邮箱地址不会被公开。