RealityLabs很烧钱的元宇宙技术，有了新展示

　　北京时间10月12日凌晨，一年一度的MetaConnect大会如期举行。大会上展示了多款配件、应用和服务以及Meta在元宇宙方向上的探索研究。
　　本文对大会上展示的RealityLabs最新虚拟现实前沿技术进行了逐帧剖析。一起来看一下吧！
　　下一代交互：EMG新算法识别细微动作差异
　　虚拟现实场景旨在营造一种沉浸的体验，传统人机交互方式正在发生着变革，键盘、触屏等等已不再能满足沉浸的需求。
　　Meta将下一代交互押注于EMG肌电电的应用。
　　在去年的Connect2021大会上，Meta演示了一个穿戴设备，在虚拟现实中单手信息输入的场景，设备通过对腕部动作抓取数据，实现文字信息的输入。
　　当时Meta曾透露，下一步计划深化动作的复杂度，开发EMG肌肉电腕带相应产品，未来或将推出EMG肌肉电的可穿戴设备。
　　在今年的Connect大会上，Meta展示了他们将人工智能和EMG结合后的最新成果。
　　在第一个视频演示中，两人使用基于腕部EMG来了一场跑酷游戏。
　　尽管他们使用的手势相同，但是由于个体之间的差异，他们实际上的手势是有轻微不同的。
　　每当其中一人做出手势动作时，算法就会适应并对信号进行解释转换，因此每个人的自然手势都会被快速识别，并且可靠性很高。
　　甚至随着时间的推移，在机器学习的助力下，系统在理解方面会变得越来越好。
　　Meta认为，以腕上的神经肌肉信号作为输入的方式是真正以人为中心的。
　　用户无需学习有一定学习成本的控制方案，设备将在用户使用的过程中，自主来学习和适应用户。
　　机器学习和神经科学的结合，Meta甚至还开发了共同适应学习或coadaptivelearning的一种算法，将个体的差异作为影响适应性的因素。
　　并且，共同适应学习的潜力不仅局限于完整的手势，轻微的手势差异也在其应用范畴内。它可以实时学习如何对人体正在激活的肌电信号做出反应，并仅通过最轻微的手部运动将信号传递。
　　未来，EMG可能彻底改变我们与数字世界的交互方式，让我们不仅可以做更多的事情，而且是以我们想要的方式去实现。
　　在Connect大会上，扎克伯格展示了如何用运动神经元信号来控制ARVR设备。
　　只需几个微小的动作，就可以完成消息查看、拍照等任务。
　　雄心勃勃的扎克伯格指出，这些都还只是开始，真正的AR眼镜和未来的界面将解锁更多更有用的互动。
　　比如，右击现实中的物体或者位置就可以查看其详细信息、无需离开虚拟世界就可更好地控制设备、或者从个性化的AI数字助手那里获得帮助和支持。
　　当这些交互方式结合在一起的时候，Meta将提供一种更加自然、更加以人为本的计算方法，为人机交互提供更多的可能性。
　　利用AR眼镜绘制室内场馆的3D地图
　　两年前，Meta在Connect大会上公布了ProjectAria，专注于可穿戴AR设备的研究。
　　Meta与卡内基梅隆大学（CMU）认知辅助实验室的试点合作，利用AR眼镜绘制GPS信号通常覆盖不到的室内场馆的3D地图。
　　在本届Connect大会上，Meta汇报了这一项目的进展情况。
　　佩戴ProjectAria的工程眼镜，CMU的研究人员绘制了匹兹堡国际机场的3D地图。
　　过去，要构建室内导航需要足够多的iBeacon才能获得精准的的位置信息。
　　现在，利用ProjectAria绘制的3D地图训练人工智能模型，就可以在不必过分依赖蓝牙信标的情况下，依然能够准确定位。
　　在Meta的演示视频中，视觉障碍者通过手机端的NavCog应用它提供残障友好的交互方式，在机场里确认位置、获得导航指引。
　　将现实世界的物体带入虚拟世界
　　在虚拟世界中构建和操作3D物体对于元宇宙的建设至关重要，但如果我们完全依赖于手工绘制，那么这个过程将非常漫长。
　　假如能够以现实中的物体作为模板，将它复制到虚拟世界中，基于副本进行构建，就会更快、更容易。
　　Meta正在研究两种不同的技术来解决这个难题。
　　第一种方法，拍摄不同角度的多张2D图片，借助基于机器学习的神经辐射场（NERF）来重建3D物体的外观。
　　扎克伯格演示了将泰迪熊复刻到虚拟世界中的过程。这种方法复刻的物体，再现了物体的很多精细细节。
　　第二种方法，直接捕获几何图形和外观，借助反向渲染技术扫描对象，并将它的数字孪生对象放入到增强现实或虚拟现实的世界中。
　　在现场演示的视频中，扎克伯格复制的数字孪生物体，甚至可以对虚拟世界中的光线产生动态的反射效果；
　　甚至可以模拟出现实世界中真实物体落地、反弹的样子。
　　CodecAvatar新进展：高还原度，实时驱动，虚实难分
　　CodecAvatar是Meta开发的一种3D头像的深度生成模型。
　　与其他高质量的虚拟头像不同，CodecAvatar是自动生成并实时驱动的，你的真实形象和动作均可以自动并实时的在虚拟世界中同步，不会局限于预定义的动作。
　　去年，Meta分享了CodecAvatar的早期进展。扎克伯格的演示视频曾一度被吐槽至自行删除，但不可否认其理念的先进性在虚拟世界中实时生成虚拟人，并让虚拟人受现实驱动。
　　今年CodecAvatar迎来了一项新的进展现实世界中的你可以随意为虚拟世界中你的形象换装。
　　除此之外，Meta还展示了CodecAvatar2。0的一些最新进展，包括如何让头像的面部表情如何更接近身体的形态。从实际的演示效果来看，CodecAvatar2。0并没有让人失望。
　　除了表现上的优化，CodecAvatar2。0还整合了人们交流和理解语气时所依赖的一些面部动作：扬起眉毛、眯着眼睛、睁大眼睛和皱鼻子。
　　通过更好地捕捉这些微妙的表情，CodecAvatar2。0的实际表现更加逼真和自然。
　　你还可以控制CodecAvatar2。0上的灯光来增加另一个纬度的真实感。
　　更高的还原度、更多的功能，意味着生成过程不会很短。Meta利用即时的InstantCodecAvatar来提升实时生成的效率。
　　InstantCodecAvatar比CodecAvatar更快也更容易制作。
　　仅需使用你的手机，在合适的光照环境中，保持标准的面部表情进行30秒的扫描，然后再在90秒的时间内做出各种表情完成扫描，之后会在大约几小时的时间内完成即时头像的制作。
　　未来，Meta还将进一步优化生成效率，让整体处理时间进一步缩短。
　　需要指出的是，与CodecAvatar2。0相比，InstantCodecAvatar在质量和真实感上有所缺失。
　　尽管如此，即时的实际表现效果并不差。这种无需专业设备即可完成的制作，降低了不少门槛。
　　目前这项工作仍处于研究阶段，很难说日后是否会有成品发布。
　　主笔：陈述深圳湾