米哈游的鹿鸣，是对虚拟偶像直播的“降维打击”吗？
自从米哈游这条鲶鱼现身，二次元就被搅得天翻地覆，这搅动还不仅限于游戏。7月15日米哈游的虚拟偶像@yoyo鹿鸣_Lumi（下称鹿鸣）在B站开启了首次直播，在二次元圈子里再一次掀起讨论。
在半小时的直播过程中，鹿鸣吸引了超66万人前来围观，收获了322位舰长（折合收入约6万多元）。随后其直播录屏很快突破百万播放量，直播后鹿鸣的B站关注人数也成功突破150万。
米哈游并未大范围宣传鹿鸣的直播首秀，也没有提前公开太多技术细节。在虚拟直播火热的当下，鹿鸣直播的营收也不算特别亮眼。相比于打赏涨粉，米哈游可能更关注的是本次直播对自身技术实力的验证。对于前来围观的观众而言，他们也在鹿鸣身上看到了虚拟偶像的另外一种可能性。
虚拟人走到哪一步了？
虚拟偶像的发展年限并不长，人们对虚拟偶像的划分基本是以初音未来、洛天依为代表的“虚拟歌姬”，以及包括绊爱在内的大量借助视频、直播迅速走红的虚拟主播。
特别是后一类虚拟角色，在直播时大多采用虚拟形象+动作捕捉+中之人的模式，大大降低了这一行业的准入门槛。这也是基于当前技术背景下比较成熟的直播方式，既能满足观众对直播的互动需求，又能打造虚拟偶像IP，在商业上已经有了以A-SOUL、彩虹社旗下大量虚拟偶像等为代表的成功案例。
实际上，虚拟人的另一个发展方向是以先进的数字引擎制造高保真数字人，达到以假乱真的视觉效果。这一技术的应用场景非常广泛，在影视广告制作方面已经有很多应用。不过追求高画质的虚拟人项目，无论是全CG建模还是AI换脸，其初衷是用于展现技术实力还是打造IP品牌代言，一旦涉及到直播，就都绕不开对中之人的依赖。现阶段的虚拟人除了角色建模之外，无论是动作捕捉还是语音互动，都需要由真人来完成。
图源IoTWANT
如今的技术背景让虚拟人直播时离不了中之人，然而由中之人导致的虚拟偶像塌房事件也在不断上演。具体案例可以参见ACGx此前的报道《粉丝斗资本的戏码在虚拟偶像市场上演了，不过这一次没有赢家》。所以，如何让“虚拟偶像永不塌房”这句口号成为现实？很多人将希望寄托在AI技术的突破之上。
此次鹿鸣直播之所以引起很多关注，就在于大家想看看“技术宅拯救世界”的米哈游会拿出什么技术方案来解决虚拟偶像与中之人的这种矛盾关系。就像评论区所说：“虚拟主播圈终于开始讨论‘虚拟’而不是‘主播’。”
技术宅如何“造人”？
鹿鸣的缘起，最早可以回溯到2018年。米哈游在当年的GDC上看到了UE4引擎的全真虚拟人Siren，便萌生了制作偏二次元审美虚拟人的想法。两年之后，一段名为代号N0va LookDev Test的视频在B站出现，随后米哈游推出一款名为《人工桌面》的App，代号N0va也正式定名为“鹿鸣”。
鹿鸣一开始发布于B站的都是30秒以内的短视频，更新不到20个视频就已经积累了过百万粉丝与超1亿的总播放量。据米哈游总裁刘伟（大伟哥）介绍，每一条视频其实都是在测试不同技术应用，比如表情、毛发、肌肉动作等等。对于此前一直深耕Unity引擎的米哈游而言，想要玩转UE4引擎必须有足够多的投入。让鹿鸣实现直播并达到与视频输出同等的画面质量，则是大伟哥早就定下的阶段性目标。为了实现这个目标，米哈游可谓准备了许多“黑科技”。
此次直播首先令人印象深刻的就是高画质。鹿鸣的动作流畅，衣着和头发的处理细致到位，表情与口型也和语音保持同步。直播画面的确做到了媲美预渲染视频的效果，这对于直播时普遍需要降低模型画质来换取动作流畅度的虚拟主播界而言，的确算是“降维打击”。
很多人都好奇米哈游是如何做到在直播中保持高精度画质输出的？对此，知乎网友@季逸超给出了自己的解读。他认为鹿鸣直播画质之所以有如此出色的表现，是由于米哈游采用了“实时动作捕捉+角色动作库”的技术解决方案。也就是预先制作好鹿鸣的多套动作模块形成动作库，直播时当中之人/动捕演员做出相应动作时便从动作库中调用相应的动作模块进行播出。这个方案既能大大减少实时动作捕捉的数据计算量，又能保证直播的互动效果，让观众看到更自然的反馈。不少3D动画从业者也表达了对此分析的认可。
图源：知乎用户@季逸超
图源：知乎用户@林沐岚风
不过这套方案目前也有它的不足之处，比如鹿鸣的动作库数量并不丰富，直播中就不免出现重复性动作。仅安排30分钟的直播，或许也是考虑到时间太长会导致重复动作过多而露馅。由于米哈游尚未披露此次直播的技术细节，以上分析仅代表网友的推测。不管米哈游使用了什么技术方案，仅就直播的画质效果来说，鹿鸣的确未来可期。
除了画面的高质量，此次直播备受关注的还有鹿鸣的配音。在直播简介中，鹿鸣的声音一栏赫然填写着“逆熵AI生成”，引起了非常多的讨论。
米哈游的逆熵科技早在2020年就已经成立，主攻基于DeepLearning等AI技术来提升内容生产效率，说到底就是要追求游戏制作的工业化。而鹿鸣的AI生成语音便是逆熵科技的研究成果之一。这一成果早在2021年的一段鹿鸣视频中就已经有所展示。
“AI生成”这一说法其实有些暧昧。鹿鸣的语音到底是后台程序员手打文字让AI按台本念出来的，还是直接将动捕演员的声音通过AI重新输出为鹿鸣的声音，各方网友观点莫衷一是。
从直播效果来看，鹿鸣的声音明显没有电子音的感觉，音色更接近真人，说话非常流畅，这说明在语音输出方面鹿鸣已经能做到以假乱真。但鹿鸣在与观众互动时的现场效果，在活跃气氛与展示自身性格方面还是有些生涩。直播后段，鹿鸣连续跳舞之后会带有明显的喘气声，舞蹈时拍手的声音也录入到了声音里。有观众根据这些细节推测鹿鸣直播背后依然有中之人，只是大家听到的不是中之人本人的声音，而是经过AI合成后的鹿鸣声音。
关于这一点，大伟哥2019年在他的母校上海交大的一次演讲中就讲解过。据他介绍，逆熵AI的目标是通过深度学习记录配音演员的声音和情感，做到输入文字就能输出对应的配音。未来还可以将声音塑造成IP，永久保留，甚至出售声音的版权。
鹿鸣直播时的AI生成语音已经达到了大伟哥预期目标的哪一步，现阶段尚不明确，但若是真的只靠文字输入就能达到媲美真人的语音输出，并且还能带上真人特有的感情色彩，这无疑是令人兴奋的技术突破。
而对于务实的米哈游来说，逆熵的AI语音系统其实已经有部分进入实际应用阶段。此前在《崩坏：星穹铁道》内测时，米哈游就做到了让所有角色的口型都能与不同语种的配音匹配。这个匹配口型的细节工作之所以能够高效率地完成，其中很可能就有逆熵AI的功劳。
鹿鸣此次直播，背后体现的是米哈游这两年来的技术积累。有人怀疑此次直播只是录播，有人推测互动情节都是按台本演出。30分钟的实时渲染到底需要多少硬件支持，烧掉多少成本？在米哈游公布技术细节之前，这些问题暂时都还没有答案。
但正如有评论指出的，当大家开始认真讨论鹿鸣背后到底是中之人还是AI时候，米哈游此次直播的目的就已经达到了。
米哈游的野望
米哈游做这次直播其实是有点醉翁之意不在酒，它的目标已经不止于虚拟直播这个圈子。
如今的米哈游现金流充裕，并不需要通过画饼一个虚拟偶像去寻求投资或提升估值，以鹿鸣切入虚拟主播这一行似乎也并非它的目标。正如大伟哥在讲演中所说，鹿鸣直播之后的下一步，更有可能是进行技术输出，将成熟成套的技术打包成工具包提供给更多的内容创作者。
米哈游此前就在积极投资脑机接口、核聚变等公司。就在7月18日，米哈游又出资1亿元与三七互娱等公司成立创投基金，物色VR/AR等领域的初创公司进行投资。这些动作都反应了米哈游未来想进军硬件甚至钻研更底层技术的野心。
当然，这条道路并不是那么好走。竞争对手非常多，且都有各自强项。像上文提到促使米哈游决定开启鹿鸣项目的虚拟人Siren，其实正是腾讯NExT Studios与Epic合作推出的高保真虚拟人项目。如今腾讯基于UE4引擎创造的星瞳已经实现周更直播，《和平精英》虚拟数字人吉莉、《王者荣耀》虚拟男团“无限王者团”也相继上线，星瞳更是在UE5引擎上市后第一时间推出基于新引擎的短片，在技术赛道上极力抢占高地。而在腾讯身后，网易、百度、字节等公司这几年也纷纷推出自己的虚拟企划，各显身手。
作为一家两年前还被当作“初创公司”看待的企业，米哈游如今已将“上海四小龙”的其它三家甩到身后，成了财经媒体口中紧随腾讯、网易之后的国内游戏厂商“第三极”。外界之所以对米哈游有如此高的期待，就在于米哈游对技术有近乎执着的追求，而颠覆往往产生于追逐技术的过程之中。
鹿鸣直播只是米哈游的一次阶段性成果，面对强大的竞争对手，米哈游要想实现自己的二次元伟业还有很长的路要走。在大伟哥的愿景中，他是希望所有在未来进入米哈游HoYoverse虚拟世界的用户都能拥有自己的虚拟化身。鹿鸣只是一个开始，让每一个阿宅都能创造属于自己的鹿鸣或许才是米哈游的终极目标。