2022-02-10 16:35

Meta正在开发世界上最快的超级计算机

SUBSCRIBEto US

META

Facebook的母公司Meta表示，它已经建造了一台全球最快的研究超级计算机。Meta研究人员Kevin Lee和Shubho Sengupta近日在一篇博客文章中写道，到今年年中，当系统的扩展完成时，它将是最快的。他们写道，人工智能研究超级集群（AI Research SuperCluster，RSC）有朝一日将与具有数万亿参数的神经网络一起工作。神经网络模型中的参数数量迅速增加。例如，自然语言处理器GPT-3有1750亿个参数，这种复杂的人工智能预计只会增长。

RSC旨在解决这种增长的一个关键限制，即训练神经网络所需的时间。一般来说，训练包括针对大型数据集测试神经网络，测量它离准确完成工作的距离，使用该错误信号调整网络参数，并重复该循环，直到神经网络达到所需的精度水平。对于大型网络来说，可能需要数周的计算时间，从而限制了在给定的一年中可以测试多少新网络。几家资金雄厚的初创公司，如Cerebras和SambaNova的成立部分是为了解决培训时间问题。

研究人员写道，除此之外，Meta希望RSC能帮助它建立新的神经网络，能够对大量使用不同语言的人群进行实时语音翻译。他们写道：“最终，与RSC合作完成的工作将为下一个主要计算平台metaverse的技术构建铺平道路，在metaverse中，人工智能驱动的应用程序和产品将发挥重要作用。”。

“我们为metaverse构建的体验需要巨大的计算能力（每秒运算量为5亿次！）而RSC将使新的人工智能模型能够从数万亿个例子中学习，理解数百种语言，等等，”Meta首席执行官兼联合创始人Mark Zuckerberg在一份声明中说。

与2017年设计的人工智能研究集群元用途相比，RSC在涉及的GPU数量、它们的通信方式以及连接到它们的存储方面发生了变化。

In early 2020, we decided the best way to accelerate progress was to design a new computing infrastructure from a clean slate to take advantage of new GPU and network fabric technology. We wanted this infrastructure to be able to train models with more than a trillion parameters on data sets as large as an exabyte—which, to provide a sense of scale, is the equivalent of 36,000 years of high-quality video.

旧系统连接了22000个Nvidia V100 Tensor Core GPU。新的一款改用Nvidia的最新核心A100，该核心在最近的人工智能系统基准测试中占据主导地位。目前，新系统由760台Nvidia DGX A100计算机组成，总容量为6080 GPU。计算机集群通过一个每秒200千兆字节的Nvidia Infiniband网络连接在一起。该存储包括46 PB（4600亿字节）的高速缓存存储和175 PB的大容量闪存存储。

与旧的基于V100的系统相比，RSC在计算机视觉任务方面的速度提高了20倍，在处理大型自然语言处理方面的速度提高了3倍。

当系统在今年年中完成时，它将连接16000个GPU，这是Lee和SunuPuTa写的，将成为同类中最大的一个。届时，其缓存和存储容量将达到1EB（10亿字节），并能为系统提供每秒16 TB的数据。新系统还将注重可靠性。这一点很重要，因为非常大的网络可能需要数周的训练时间，而且你不希望任务中途失败，这意味着必须重新开始。