奥运史上首次！《星球大战》黑科技成真，云上全息通信隔空传递真人！
1970年6月30日，美铝公司（Alcoa）首席执行官John Harper和匹兹堡市长 Peter Flaherty 使用ATT的新Picturephone Mod II参加了一次商业视频会议，这是人类历史上第一个商业视频会议。回望过去，令我们感到惊讶的是，人类的通信方式在过去50余年间没有发生本质变化。它变得更清晰、更便捷，但始终我们要面对一块冰冷的屏幕说话。
2月6日，一种全新的交互方式首次出现在北京冬奥会现场。国际奥委会主席巴赫与阿里巴巴CEO张勇，被“传送”到新闻中心，实现了一次跨时空会面。这本是在科幻电影《星球大战》中才会出现的高科技——如今，它来了。
巴赫隔空向张勇赠送冬奥火炬
这就是云上音视频通信和全息技术的融合。未来，“云上传真”不再是传递文件，而是传递“真人”。
众所周知，奥密克戎病毒在全球的蔓延给本届冬奥会带来了不小的压力。如何平衡防疫措施与冬奥会参与者的体验成为了难题。因此，冬奥会采用闭环管理，闭环内与闭环外的人不接触。这种措施虽然阻隔了病毒，但物理上的隔离让两边的人很难产生“带有温度感”的交互。在这种背景之下，奥林匹克全球合作伙伴阿里巴巴推出阿里云聚（Cloud ME）：用有温度的云科技，突破物理阻隔。
把“千里之外”拉回到“近在咫尺”，
Cloud ME是如何做到的？
Cloud ME所实现的黑科技其实早就出现在了科幻电影当中，最著名的恐怕就是《星球大战》系列了。电影里不止一次出现类似的镜头：会议现场总有几个人不是肉身，而是影像。就算尤达大师（电影角色，绝地武士团的最高大师）在另一个星球，也可以瞬间把自己投影在现场。他们不是屏幕背后冰冷的图像，而是与肉身一般大小的、活生生的、可以感知的存在。
指路《星球大战III：西斯的复仇》 48:47
《星球大战》里幻想的这种黑科技，如今真的被应用在了北京冬奥会中这场特别的见面会上。从技术层面看，它究竟是如何实现的呢？
以这次跨时空会面为例，读者要谨记：真正的巴赫在北京OFH酒店（闭环内），真正的张勇在上海办公室，而他们在虚拟空间见面的地点是“闭环外”的2022北京新闻中心。
从张勇的视角看，虽然他在上海办公室，但在身边的“全息仓”里，却出现了和巴赫本人一模一样的影像与之交谈。此时，读者脑海里不应该是屏幕，而是《星战》中的尤达大师的画面：立体的、逼真的、和本人同样大小的。同理，在OFH酒店，巴赫先生的一侧也是真假难辨的张勇。
左侧：巴赫视角；右图：张勇视角
然后，我们再去看看他们的会面地点：2022北京冬奥会新闻中心。
巴赫与张勇的画面通过技术处理之后，一同出现在了新闻中心。从台下记者的角度看，他们可以面对面交流，甚至能传递物品，展示对联。但实际上他们皆不在现场。
巴赫与张勇送上新春祝福
总结一下就是，三波人、三个现场以及三个视角：在OFH酒店的巴赫，在上海办公室的张勇和在新闻中心的台下记者们。
在现场的朋友可以发现，Cloud ME能够做到发丝级的全息复制。4K分辨率、60帧的帧率，以及通过算法仿真的阴影再现，足以“以假乱真”。同时，它能把延时控制在200ms以内，这意味着台下记者与台上嘉宾的互动，和面对面相比并无二致。Cloud ME还赋予了使用者“分身”的功能，其影像可以同时出现在全球多个地点。
在巴赫与张勇所在的地方，分别有多台摄像机，通过阿里云音视频通信RTC服务（Real Time Communication）将现场的影像进行编码压缩、组包并实时传输到音视频通信网络，随后，一系列复杂的工作都会在云端完成，包括视频转码、增强、渲染、光影处理等。这个过程，让视频实现了从“平面”到“全息”的蜕变。最后，音视频数据依赖音视频通信网络传输到远端进行解码和显示，最终全息影像呈现在了“全息仓”中。
看起来不复杂，但要真正实现全息实时通信，至少要克服三个难点。
延时、网络与噪声
实现全息通信要攻克的三大难题
在基于视频的交互模式中，延时对体验的杀伤力极大。比如多人视频会议，就会因为延时而出现抢话的情况。前一个人还没说完，后一个人已经开始发言了。区区几百ms（毫秒）的延时，让视频交互与面对面交流的体验相差甚远。
高延时下你看到的视频可能是这样的
那么，一般延时控制在什么范围，我们就无法察觉了呢？
根据国际标准，400ms是延时的及格线，200ms可以打满分。控制在200ms以内，我们基本无法察觉。200ms是什么概念？可以用几个数字做一下对比。中美之间通过光纤通信，这意味着传输速度是光速，在考虑路由器等因素后，实际延时最高依然有60ms左右。而传统的直播技术，以手机淘宝直播为例，延时大概在5秒左右，电视直播会更长一些。
因此，降低延时不是一件容易的事，这是一个系统工程。视频传输好比把箱子（数据）通过一个管道（带宽）送到另一端，带宽固然越大越好，但这也意味着成本上升。视频清晰度越高，则箱子越大，传输用时更久。降低延时需要在考虑成本的前提下，对其中的每一个要素进行技术处理。这是一个需要在基础技术领域投入非常大的工程。
首先，5G的应用可以降低延迟。作为重要的数字基础设施，在理论上，5G网络下典型的端对端网络延迟为5-10ms，实际情况可能非常复杂，无法达到理论值。再者，现在使用更多的降低延时的技术是编解码优化。通俗的理解就是，在有限的存储资源和带宽之下，如何尽可能提高视频的压缩比（使之更小）以及提高视频重建的质量。视频之所以需要重建，是因为我们看到的视频已经不是原始画面，而是从数据中解析出来的。
另一方面，根据阿里巴巴的技术人员的介绍，在看一段视频的时候，并不是每个画面都需要非常清晰。需要结合AI对视频的理解，即哪些地方需要清晰、哪些地方可以退而求其次，最终做到不影响用户体验。视频压缩比更高了，延时也就降低了。
从上海到北京如此长距离的网络传输，互联网环境非常复杂，容易产生带宽不足、数据丢包等现象。如果有更大的流量接入互联网，还会造成网络抖动。考虑到在北京冬奥会媒体中心的全息画面是4K高清、帧率高达60，在如此高清晰度与超大屏幕之下，任何网络问题，都会让视频瑕疵在终端放大——看的清清楚楚。
基于这样的背景，Cloud ME对视频做了两方面的处理。首先是采用了“窄带高清”的技术，即同等视频质量下可以节约50%的带宽，其核心依然是编码优化。在下方对比视频中可以看到，清晰度的差别肉眼难以分辨，但是左侧视频带宽需求只有右侧的一半。
窄带高清对比