苹果混合现实专利：用虚拟形象替换镜中反射的XR头显和手柄

此前，青亭网曾报道佳能交互式VR通话方案Kokomo，该方案允许你和好友在VR中以自己的外貌作为Avatar来互动，一大亮点是允许你用手机预先扫描自己的头部，这样在VR中，便可以开启“无头显”模式，模拟面部没有被头显遮挡的效果。有趣的是，今天USPTO曝光了一项来自苹果的AR/VR专利（编号US20230131109A1），其中也涉及了类似的“无头显”概念。不同的是，苹果专利侧重于用“替换现实”，即使用虚拟内容替代被头显遮挡的人脸。

据青亭网了解，这项专利似乎针对某种混合现实场景，比如当你在使用头显查看周围环境时，如果头显识别到镜子、玻璃、液体等反射表面，会在上面反射的用户形象基础上，替换头显、手柄等设备。简单来讲，当你在VR模式中，你可以扮演各种酷炫的Avatar，但在混合现实模式中，如果你看到自己戴着头显，可能会打破沉浸感，这可能是该专利的设计思路。

除了用虚拟图替换头显外，专利还描述了一种将iPhone作为控制器的设计，当iPhone出现在镜面中时，头显会将其处理成光剑等道具效果。甚至，还可以替换用户的身体部分（包括五官、毛发）、腕带式设备或背景内容，类似于在透视模式中加入AR滤镜。

除此之外，专利中描述的头显支持面部捕捉，可动态追踪眉毛、嘴巴、下巴、眼镜，来驱动Avatar表情。其显示系统或基于视网膜投影原理，将图像直接投射到人眼视网膜上。投影系统还可以配置为向外投影，将虚拟图像以AR的形式投射在物理表面上。