计算的未来在于利用宇宙复杂的物理行为
来源：ScienceAI
一个隔音板条箱内是世界上最糟糕的神经网络之一。在看到数字6的图像后，它会停顿片刻，然后再识别数字：0。领导网络开发的康奈尔大学物理学工程师 Peter McMahon 羞怯地为它辩护，指出手写数字看起来很草率。从NTT Research访问McMahon实验室的博士后Logan Wright向我保证，该设备通常能得到正确的答案，但承认错误很常见。「就是这么糟糕。」他说。
尽管表现平平，但这个神经网络却是开创性的。研究人员将板条箱翻了过来，露出的不是计算机芯片，而是一个麦克风，麦克风朝向用螺栓固定在扬声器上的钛板。其他神经网络在0和1的数字世界中运行，但该设备运行在声音上。
当Wright提示一个数字的新图像时，它的像素被转换成音频，当扬声器摇动板时，实验室里会传来微弱的颤抖声。金属混响进行「阅读」，而不是运行在硅片上的软件。该设备通常会成功乞丐信仰，甚至对其设计师也是如此。
「无论震动金属的功能是什么，它都不应该与对手写数字进行分类有任何关系。」McMahon说。
该设备的原始阅读能力是康奈尔大学团队在一月份在《自然》杂志上发表的一篇论文中公布的，这让McMahon和其他人希望它的远古后代能够彻底改变计算。
论文地址：https://www.nature.com/articles/s41586-021-04223-6
当谈到传统的机器学习时，计算机科学家发现越大越好。在神经网络中填充更多的人工神经元——存储数值的节点——提高了它区分达克斯猎狗和斑点狗的能力，或者成功完成无数其他模式识别任务。真正巨大的神经网络可以完成令人不安的人类任务，例如撰写论文和创建插图。有了更多的计算能力，甚至更伟大的壮举可能成为可能。这种潜力促使人们努力开发更强大和更有效的方法计算。
McMahon和一群志同道合的物理学家倡导一种非正统的方法：让宇宙为我们处理数据。McMahon说：「许多物理系统自然可以比计算机更有效或更快地进行某些计算。」他引用了风洞：工程师设计飞机时，他们可能会将蓝图数字化，并在超级计算机上花费数小时来模拟空气如何流动从计算的角度来看，风洞会立即「计算」机翼如何与空气相互作用。或者他们可以将车辆放入风洞中，看看它是否飞行。从计算的角度来看，风洞会立即「计算」机翼与空气的相互作用。
风洞是一台专心致志的机器；它模拟空气动力学。像McMahon这样的研究人员正在寻找一种可以学习做任何事情的设备——一种可以通过反复试验来调整其行为以获得任何新能力的系统，例如对手写数字进行分类或区分一个口语元音和另一个。最近的研究表明，光波、超导体网络和电子分支流等物理系统都可以学习。
「我们不仅在重塑硬件，」瑞士苏黎世联邦理工学院的数学家Benjamin Scellier说，他帮助设计了一种新的物理学习算法，「也在重塑整个计算范式。」
学习思考
深度神经网络是一种通过实践学习的计算机程序。该网络可以被认为是一个网格：称为神经元的节点层存储值，通过线或「突触」连接到相邻层中的神经元。最初，这些突触只是被称为「权重」的随机数。
当你希望网络读取一个数字（例如4）时，你让第一层神经元表示4的原始图像，也许将每个像素的阴影存储为相应神经元中的一个值。然后网络「思考」，逐层移动，将神经元值乘以突触权重以填充下一层神经元。最后一层中值最高的神经元表示网络的答案。例如，如果它是第二个神经元，网络会猜测它看到了2。
为了教网络做出更聪明的猜测，学习算法反向工作。每次试验后，它计算猜测和正确答案之间的差异（在我们的例子中，它将由第4个神经元的高值表示最终层和其他地方的低值）。然后一个算法逐层回溯网络，计算如何调整权重以使最终神经元的值根据需要上升或下降。这个过程称为反向传播，位于深度学习的核心学习。
通过多次猜测和调整重复，反向传播将权重引导到数字配置，该配置将通过由图像启动的级联乘法，输出写在那里的数字。
但与大脑中发生的任何事情相比，发生在人工神经网络中的数字化学习看起来效率非常低。一个孩子每天只消耗不到2000卡路里的热量，就能学会说话、阅读、玩游戏等等。在如此有限的能量饮食中，开创性的GPT-3，一种能够流利交谈的神经网络，可能需要一千年才能学会聊天。
从物理学家的角度来看，大型数字神经网络只是试图做太多的数学运算。当今最大的庞然大物必须记录和操纵超过5000亿的数字。与此同时，宇宙不断完成远远超出计算机极限的任务记账能力。一个房间可能有数以万亿计的空气分子在四处弹跳；对于计算机来说，在完全成熟的碰撞模拟中跟踪运动部件的数量是不可能的，但空气本身从一开始就可以毫不费力地决定如何表现到时刻。
挑战在于构建物理系统，该系统可以自然地完成人工智能所需的两个过程——（比如）对图像进行分类所涉及的「思考」，以及正确分类这些图像所需的「学习」。掌握这两项任务的系统将利用宇宙在不实际进行数学运算的情况下进行数学运算的能力。
「我们从不计算3.532乘以1.567之类的，」Scellier说，「它已经完成了，但隐含地，只是直接根据物理定律。」
思考部分
在大流行前的最后几个月里，McMahon 在康奈尔建立了他的实验室，他仔细思考了一个奇怪的发现。多年来，性能最好的图像识别神经网络一直在变得越来越深。也就是说，具有更多层的网络能够更好地接收一堆像素并贴上标签，例如「贵宾犬」。这一趋势激发了数学家研究网络正在实现的转换（从像素到「贵宾犬」），并且在2017年，几个小组提出网络的行为类似于平滑数学函数的近似版本。在数学中，函数将输入（通常是沿x轴的位置）到输出（该位置的曲线的 y 值或高度）。在特定类型的神经网络中，层数越多越好，因为函数的参差不齐，更接近理想曲线。
这项研究让McMahon开始思考，也许有了一个平滑变化的物理系统，人们可以避开数字方法固有的块状。
诀窍是找到一种方法来驯化一个复杂的系统——通过训练来调整它的行为。McMahon和合作者选择钛板作为这样的系统之一，因为它的多种振动模式以复杂的方式混合了传入的声音。为了使金属板像神经网络一样工作，他们输入一种声音来编码输入图像（例如手写的6），另一种声音代表突触的权重；在准确的时刻击中钛板所需的波峰和波谷让设备合并声音并给出答案——例如在第六毫秒内最大声的新声音，代表分类「6」。
康奈尔大学的一个团队已经训练了三种不同的物理系统来「读取」手写数字：从左到右，振动钛板、晶体和电子电路。
该小组还在一个光学系统中实现了他们的方案——其中输入图像和权重被编码成两束由晶体混合在一起的光束——以及一个能够类似地改组输入的电子电路。原则上，任何具有拜占庭式的系统行为会起作用，尽管研究人员认为光学系统具有特别的前景。晶体不仅可以极快地混合光线，而且光线还包含有关世界的大量数据。McMahon想象他的光学神经网络的微型版本有朝一日会成为自动驾驶汽车的眼睛，识别停车标志和行人，然后再将这些信息提供给车辆的计算机芯片，就像我们的视网膜对入射光进行一些基本的视觉处理一样。
然而，这些系统的致命弱点是训练它们需要回到数字世界。反向传播涉及反向运行神经网络，但板和晶体不容易混合声音和光。因此，该小组构建了每个物理系统的数字模型。在笔记本电脑上反转这些模型，他们可以使用反向传播算法来计算如何调整权重以给出准确的答案。
通过这种训练，平板学会了87%的正确分类手写数字的时间。电路和激光分别达到了93%和97%的准确率。结果表明「不仅可以通过反向传播训练标准的神经网络，」法国国家科学研究中心 (CNRS) 的物理学家Julie Grollier 说。「那太美了。」
该研究小组的振动金属板尚未使计算更接近大脑的惊人效率。它甚至没有达到数字神经网络的速度。但McMahon认为他的设备是惊人的，如果谦虚的话，证明你不需要「任何物理系统都可以是神经网络，」他说。
学习部分
德国马克斯·普朗克光科学研究所的物理学家Florian Marquardt认为，一种选择是建造一台向后运行的机器。去年，他和一位合作者提出了一种可以在这样的系统上运行的反向传播算法的物理模拟。
为了证明它是有效的，他们用数字模拟了一个有点像McMahon的激光装置，将可调节的权重编码在与另一个输入波混合的光波中（例如编码图像）。他们推动输出更接近右侧回答并使用光学元件来分解波，扭转过程。「神奇的是，」Marquardt说，「当你再次尝试使用相同输入的设备时，[输出]现在倾向于更接近你希望它是。」接下来，他们正在与实验家合作建立这样一个系统。
但专注于反向运行的系统限制了选择，因此其他研究人员完全放弃了反向传播。他们从知道大脑以不同于标准反向传播的其他方式学习而受到鼓舞。「大脑不是这样工作的，」Scellier说，神经元A与神经元B交流，「但它只是单向的。」
法国国家科学研究中心的物理学家Julie Grollier实施了一种物理学习算法，该算法被视为反向传播的一种有前途的替代方案。
2017年，Scellier和蒙特利尔大学的计算机科学家Yoshua Bengio开发了一种称为平衡传播的单向学习方法。为了了解它的工作原理，想象一个像神经元一样的箭头网络，它们的方向指示0或1，通过充当突触权重的弹簧连接成网格。弹簧越松，链接的箭头就越不容易对齐。
首先，扭转最左边一行的箭头以反映手写数字的像素，并保持它们固定，同时干扰通过弹簧涟漪散开，翻转其他箭头。当翻转停止时，最右边的箭头给出答案。
关键是，你不必通过取消翻转箭头来训练这个系统。相反，您可以在网络底部连接另一组显示正确答案的箭头；这些翻转箭头在上一组中，整个网格稳定下来进入一个新的平衡。最后，你将箭头的新方向与旧方向进行比较，并相应地拧紧或松开每个弹簧。经过多次试验，弹簧获得了更智能的张力，Scellier和Bengio已经证明这与反向传播等效。
Grollier说：「人们认为物理神经网络和反向传播之间没有可能的联系。最近发生了变化，这非常令人兴奋。」
最初关于平衡传播的工作都是理论上的，但在即将出版的出版物中，Grollier和CNRS的物理学家Jérémie Laydevant描述了该算法在D-Wave公司制造的称为量子退火器的机器上的执行。该装置有一个由数千个相互作用的超导体组成的网络，这些超导体可以像由弹簧连接的箭头一样，自然地计算出「弹簧」应该如何更新，但系统无法自动更新这些突触权重。
闭环
未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）大脑研究计划，构建互联网（城市）大脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。
如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”