扎克伯格的野心，藏在这个VR黑科技里
为了让虚拟世界更逼真，扎克伯格要成为元宇宙的“粉刷匠”？没错，是你住的家中，而不是你和朋友在手机上联机下棋或者同时处于某个完全虚幻的场景中。前不久，扎克伯格披露其高端头显产品，内部代号为Project Cambria的VR头显即将实现这一场景。
▲Meta的Quest 2所呈现的黑白透视
Project Cambria将会给图片内的灰色全部“复原”色彩，让你一时间很难分辨出哪些是虚拟物体，哪些是原有物品。而这背后离不开一项重要的技术——全彩透视（full-color passthrough）。扎克伯格曾在其最新的财报会议上提到全彩透视技术将是Project Cambria最大的特点之一。全彩透视技术属于视频透视技术（Video-seethrough）的一个分支，也就是通过相机捕捉到实时画面，将虚拟世界和真实世界合成后，呈现丰富色彩的显示画面。就像图片中的吉他和花架，通过全彩透视技术巧妙地和其他物品融为一体。
▲通过全彩透视技术呈现的画面
5月13日，美国专利商标局公布了一项苹果专利，指出一种用于头显的多透镜组合方案，可实现视频透视功能。再结合近期外媒The information的爆料信息，不少人士推断苹果的MR头显很有可能采用的也是全彩透视技术。此外，一些初创企业也在瞄准全彩透视技术的相关特性。VR头显公司Valve近期宣布与3D传感技术公司Occipital的Arcturus Industries团队合作，为VR设备提供全彩色透视模式。为何全彩透视技术能成为Meta头显的突破口？Meta在全彩透视技术方面做了哪些工作？全彩透视技术又将对VR/AR行业带来哪些影响？我们与多位产业人士交流后，尝试找到问题的答案。本文福利：AR/VR被视为下一代人机交互平台，全彩透视技术会给AR/VR怎样的改变呢？推荐精品报告《人机交互系统是通往元宇宙的入口》，可在公众号聊天栏回复关键词【智东西310】获取。
透视是指看到现实世界。目前的VR设备打造的是一个完全虚拟的环境，不会与现实世界产生互动，但是通过透视用户就可以同时看到现实世界和数字世界。光学透视的显示方案是通过特殊的透镜设计将数字画面投射到半透明的显示装置。而视频透视的显示方案则是通过相机实时捕捉画面，再和虚拟世界本该呈现的画面融合，最终呈现在显示屏幕上。
▲光学透视（OST）和视频透视（VST）两种不同的光学路径示意图
由于光学透视的光路设计复杂，显示的画面视角有限，并且由于光线原因无法显示纯黑的画面，以及光学零部件成本造价较高，因此VR设备的厂商们往往选择已经较为成熟的视频透视方案。回忆一下，当你戴上VR头显，需要建立安全区域的时，是不是也能同时看到自己的房间。并且你还可以用VR手柄在房间里圈定一定的安全区域。这时候，你眼中看到的现实场景和虚拟世界融合的场景正是通过视频透视技术实现的。尽管多数VR设备已经搭载了透视技术，但基于目前VR设备上搭载的RGB摄像头以及产品设计等因素，现有的VR设备上支持的多数为黑白透视。据行业人士透露，黑白透视只需要利用空间定位摄像头以及一些简单的算法，就可以实现不错的透视效果。
▲黑白透视场景
但要做到全彩透视，尽管只是简单的“上色”一步，其背后则又需要考虑多个技术的融合。目前，全彩透视主要可以分为四步：透视、空间锚点（放置AR物体）、三维重建、环境理解及对象识别。值得注意的是，与AR设备显示的画面不同，全彩透视技术看到的现实世界，并非是通过人眼直接看到真实世界，事实上，人的眼睛看到的是机器拍摄现实世界场景，并经过处理之后投射在显示屏上的画面。
经过梳理，我们发现要实现全彩透视技术需要突破三大技术难点。首先是硬件升级。影创科技创始人孙立认为从硬件上来看，从黑白透视到全彩透视可能会涉及到摄像头的升级，厂商们可能会将VR设备上的RGB的摄像头进行升级，甚至部分设备会配备深度传感器，以实现更高精度、色彩丰富的画面效果。此前业内也有传闻证实这一点。据悉，相较于Quest 2，Project Cambria搭载了分辨率比Quest 2高三倍、专门设计用于彩色透视的深度传感器和摄像头，其能够实现以假乱真的混合现实体验。
▲全彩透视场景
其次在算法上也提高了一定的要求。由于全彩透视对分辨率、色彩的还原度和准确性要求较高，物体的位置和物体的大小范围一一对应，因此往往需要一套接近实时重构的算法。这提高了对算法和算力的要求，也对头显自身处理计算的能力有了更高的要求。因此，头显的成本价格就可能翻倍增长，甚至是成倍增长。据悉，Meta Project Cambria的价格上涨到800美元，苹果的MR头显定价或将达到3000美元。
为何诸多头显厂商纷纷铆足劲攻克该方向呢？我们可以简单的从Meta透露的信息中一观全彩透视的好处。首先，是用户活动的场景变大。用户不再受限于狭小的安全区范围内，可以自由地在房间内选择活动空间，甚至这次你的天花板也可以成为你的新“画板”。据5月25日官方信息披露，Quest 2房间设置新增实验性功能，用户可以标记家中物体表面，勾勒出墙壁和内部物体的大致范围，将你的“家具”、“墙壁”等搬入“元宇宙”。该功能尚处于测试阶段，将在v40更新版本中正式运行。其次，我们可以看到，全彩透视也为办公场景带来了一些新的玩法。工作室的伙伴们可以在一起讨论新的设计方案，并且实时表达自己的意见，进行调整和修改。“有了全彩透视，用户可以通过VR头显看到真实世界，实现真实和虚拟的结合，极大地扩展了VR头显的使用场景，像是社交应用和商务办公等，让VR不再只是娱乐终端，而可以拓展成为一种工具，一个计算平台。”爱奇艺奇遇VR头显的相关负责人说道。
▲黑白透视场景
最后，从用户体验上来看，全彩透视将“虚实融合”一词的场景又重新推上了一个新的台阶。此前，VR/AR设备能够实现的仅仅是全部虚拟以及现实世界上增添一些简单的数字信息。哪怕现在Quest通过黑白透视呈现的部分场景，也只是在虚拟世界中“复现”现实世界的场景，远远没有达到“融合”的效果。有了全彩透视技术，你可以重新装修你的新房间，为它添上很多你目前还无法安置的东西，可以是一把吉他、一只宠物狗或者是你远在他乡的亲朋好友。
▲当虚拟宠物进入现实生活
事实上，Meta对全彩透视技术早已布局多时，并且已在Quest 2上试水。1月13日，Quest 2的透视功能正式开放SDK，并且接入了多款基于黑白透视功能开发的游戏，如《Cubism》、《Blaston》等。我们可以看到，这是Meta为其全彩透视功能作出的一次铺垫。基于Quest 2的黑白透视功能，VR内容厂商已经提供了一些新的玩法，随后将基于Project Cambria的全彩透视功能做出相应改良。
▲Meta的Project Cambria所呈现的虚实融合场景
前不久，多人VR创作应用软件《MultiBrush》宣布支持Meta Avatar系统头像和透视模式。同时，当Quest 2开放透视模式之后，Quest 2也不能仅仅看作一款VR头显，它也具有一定的AR特性。据消息人士透露，目前国内外不少VR头显厂商也正在计划引入全彩透视功能。如今看来，全彩透视功能很可能是未来VR头显升级的重要功能之一。尽管Meta将全彩透视功能描述的天花乱坠，但这些还仅限于理论场景。从发布时间来看，Project Cambria很有可能是第一款具备头手6dof定位以及全彩透视的头显产品，因此增添全彩透视功能的头显设备究竟能带来哪些体验，还有待观望。但从智东西和不少VR/AR设备研发者交流中发现，他们都对于全彩透视持有看好的态度，甚至给出了“全彩透视是VR成为元宇宙入口的关键技术”的评价。爱奇艺奇遇VR头显的相关负责人还提到，当具有全彩透视功能的VR头显面世后，会在未来很长一段时间会成为市场的主流产品，并实现AR场景在消费领域的落地，也会对现有光学透视的AR产品带来较大冲击。在调查的过程中，我们还发现一家国内初创企业尝试从光学透视和视频透视两种方案中走出一条新的道路。据报道，国内VR企业蚁视科技曾在2018年的CES大会上展示了蚁视Mix原型机该设备则应用了蚁视独家研发的的“时分透视TDST（Time-Division See-Through）”技术，可以将真实和虚拟环境的光线通过光学调制器快速切换融合在一起。但可惜的是，通过多方调查，我们仍未知道如今该项技术能够实现什么样的效果。
目前VR设备上存在视频透视、光学透视两种方案。但是由于成本、FOV等影响问题，视频透视成为主流的VR头显厂商选择的方案。而如今，VR设备上所搭载的黑白视频透视技术正在“升级”成全彩透视技术。全彩透视技术的出现，一方面加速了产品形态的融合，打破了虚拟世界和现实世界之间的空间。另一方面，设备也在玩法上加强了用户体验以及开拓出更多的场景，释放出更多的生产力。Meta究竟将全彩透视玩得怎么样？是否只是为了宣传其新品的功能而强捧其技术效果？今年十月，我们或许能一窥真相。本文福利：AR/VR被视为下一代人机交互平台，全彩透视技术会给AR/VR怎样的改变呢？推荐精品报告《人机交互系统是通往元宇宙的入口》，可在公众号聊天栏回复关键词【智东西310】获取。
（本文系网易新闻•网易号特色内容激励计划签约账号【智东西】原创内容，未经账号授权，禁止随意转载。）