人工智能克服了类脑硬件的绊脚石

来源：ScienceAI
编辑：萝卜皮
当今最成功的人工智能算法——人工神经网络，松散地基于我们大脑中复杂的真实神经网络网络。但与我们高效的大脑不同，在计算机上运行这些算法会消耗巨大的能量：最大的模型在其生命周期中消耗的能量几乎与五辆汽车一样多。
进入神经形态计算，它更接近我们大脑的设计原理和物理特性，可能成为未来人工智能节能的新方向。神经形态设计不是在中央处理单元和内存芯片之间长距离穿梭数据，而是模仿我们头脑中果冻状物质的结构，计算单元（神经元）放置在内存旁边（存储在连接神经元的突触中）。
为了使它们更像大脑，研究人员将神经形态芯片与模拟计算相结合，模拟计算可以处理连续信号，就像真正的神经元一样。由此产生的芯片与当前依赖于 0 和 1 二进制信号处理的纯数字计算机的架构和计算模式有很大不同。
以大脑为向导，神经形态芯片有望在某一天消除人工智能等数据密集型计算任务的能耗限制。不幸的是，由于被称为设备不匹配的问题，人工智能算法在这些芯片的模拟版本上表现不佳：在芯片上，模拟神经元内的微小组件由于制造过程中的误差而在尺寸上不匹配。由于单个芯片不够复杂，无法运行最新的训练程序，因此必须首先在计算机上对算法进行数字化训练。但是，当算法转移到芯片上时，一旦遇到模拟硬件上的不匹配，它们的性能就会崩溃。
Friedrich Miescher 生物医学研究所和海德堡大学的研究人员，于 2022 年 1 月发表在《PNAS》上的一篇题为「Surrogate gradients for analog neuromorphic computing」的论文揭示了绕过这个问题的方法。
该团队表明，一种称为尖峰神经网络的人工智能算法——它使用大脑的独特通信信号，称为尖峰——可以与芯片一起学习如何补偿设备不匹配。这篇论文是朝着使用 AI 进行模拟神经形态计算迈出的重要一步。
论文链接：https://www.pnas.org/doi/10.1073/pnas.2109194119
「令人惊奇的是，它运行得非常好！」荷兰国家数学和计算机科学研究所 CWI 的脉冲神经网络专家 Sander Bohte 说， 「这是一项相当大的成就，可能是更多模拟神经形态系统的蓝图。」
模拟计算对基于大脑的计算的重要性是微妙的。数字计算可以有效地表示大脑尖峰信号的一个二进制，即一种像闪电一样穿过神经元的电脉冲。与二进制数字信号一样，要么发出尖峰信号，要么不发出尖峰信号。但是随着时间的推移，尖峰是连续发送的——这是一个模拟信号——我们的神经元首先决定发出尖峰的方式也是连续的，这取决于细胞内随时间变化的电压。（与细胞外电压相比，当电压达到特定阈值时，神经元会发出尖峰信号。）
「在类比中，大脑核心计算的巧妙之处便在于此。模拟大脑的这一关键方面是神经形态计算的主要驱动力之一。」苏黎世大学和苏黎世联邦理工学院的神经形态工程研究员 Charlotte Frenkel 说。
2011 年，海德堡大学的一组研究人员开始开发一种兼具模拟和数字功能的神经形态芯片，以对大脑进行密切建模以进行神经科学实验。现在由 Schemmel 领导的团队推出了最新版本的芯片，称为 BrainScaleS-2。芯片上的每个模拟神经元都可以模仿脑细胞的输入和输出电流和电压变化。
「你真的拥有了一个不断交换信息的动态系统。」Schemmel 说，而且由于材料具有不同的电气特性，芯片传输信息的速度比我们的大脑快 1000 倍。
但是由于模拟神经元的特性变化如此之小——设备不匹配问题——电压和电流水平也因神经元而异。算法无法处理这个问题，因为它们是在具有完全相同数字神经元的计算机上训练的，突然它们在芯片上性能直线下降。
新研究展示了前进的方向。通过将芯片包含在训练过程中，作者表明脉冲神经网络可以学习如何校正 BrainScaleS-2 芯片上的不同电压。「这种训练设置是第一个令人信服的证据，证明可变性不仅可以[补偿]，而且可能被利用。」Frenkel 说。
为了解决设备不匹配问题，该团队将一种允许芯片与计算机对话的方法与一种称为代理梯度的新学习方法相结合，该方法由 Zenke 共同开发，专门用于脉冲神经网络。它通过改变神经元之间的连接，来最小化神经网络在任务中产生的错误数量。（这类似于非尖峰神经网络使用的方法，称为反向传播。）
实际上，替代梯度方法能够在计算机训练期间纠正芯片的缺陷。首先，脉冲神经网络使用芯片上模拟神经元的变化电压执行一项简单的任务，将电压记录发送回计算机。在那里，该算法自动学习如何最好地改变其神经元之间的连接，以仍然与模拟神经元很好地配合，并在学习的同时不断地在芯片上更新它们。然后，当训练完成时，脉冲神经网络在芯片上执行任务。
研究人员报告说，他们的网络在语音和视觉任务上达到了与在计算机上执行任务的顶级尖峰神经网络相同的准确度水平。换句话说，该算法准确地了解了克服设备不匹配问题需要做出哪些改变。
苏塞克斯大学的计算神经科学家 Thomas Nowotny 说：「他们用这个系统解决真正问题所取得的性能是一项巨大的成就。」 而且，正如预期的那样，它们的能源效率令人印象深刻；作者表示，在芯片上运行他们的算法所消耗的能量比标准处理器所需的能量少 1000 倍。
然而，Frenkel 指出，虽然到目前为止能耗是个好消息，但神经形态芯片仍需要通过针对类似语音和视觉识别任务进行优化的硬件来证明自己，而不是标准处理器。Nowotny 警告说，这种方法可能难以扩展到大型实际任务，因为它仍然需要在计算机和芯片之间来回穿梭数据。
长期目标是让神经网络从头到尾在神经形态芯片上训练和运行，根本不需要计算机。但这需要构建新一代芯片，这需要数年时间，Nowotny 说。
目前，Zenke 和 Schemmel 的团队已经证明，脉冲神经网络算法可以处理神经形态硬件上模拟神经元之间的微小变化。「您可以依靠 60 或 70 年的数字计算经验和软件历史。」Schemmel 说，「对于这种模拟计算，我们必须自己做所有事情。」

相关报道：https://www.quantamagazine.org/ai-overcomes-stumbling-block-on-brain-inspired-hardware-20220217/

未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）大脑研究计划，构建互联网（城市）大脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。

如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

上一篇：WebSocket基础与应用系列（二）——Engine.IO原理了解
下一篇：世界局势波诡云谲，TCL给中国科技产业带来何种启示？
美方“黑名单”伸向中国人工智能企业，如何破局？

直新闻：周四美国再将36家中国实体列入实体清单，同时将25家中国实体从“未经验证清单”移出，管先生，这一进一出意味着什么？特约评论员 管姚：把世界经济尤其是高精..

杨靖︱审判富凯：路易十四搬掉中央集权的绊脚石

路易十四文︱杨 靖1661年，执掌国柄多年的首相马扎林病逝。太阳王路易十四决定亲政，并宣布从此以后，法兰西王国不再设立首相一职。当御前会议（“国务咨议会”）成员..

硬件OTA听过没？免费换装8155后的极氪001提升究竟有多大？

老司机这台极氪001，自4月份提来以后已经行驶了大概5000km，而就在前段时间，它回到4S店进行了一次重大升级。今天老司机就来跟大家分享一下它在升级之后的变化和真实使用感..

座椅加热一月120元！硬件付费订阅引热议

在车辆远程付费升级方面，特斯拉无疑是走在最前面的车企。除了升级软件之外，包括座椅加热等硬件配置，也可通过付费升级解锁。这也给其它车企带来了指引，宝马已经开始向特..

【踢车问答】汽车付费升级硬件功能合理吗？油价涨，电价呢？

踢车帮只为爱车的你！踢车问答踢车帮的小伙伴们本周《踢车问答》的5个问题已到有请踢车夏东来为大家答疑吧！踢车问答第221期，火速戳开收听！本周入选的5个问题如下顧偉隽..

太多次“请您接管车辆”，真的是人工智能

这辆小鹏P5我们不仅要聊它的驾驶品质，更要看看它的智能辅助驾驶究竟好不好用。如果视频无法播放，长按下图，点击“识别二维码”，或关注微信公众号：大飙车小鹏P5全系标配..

GPP人工智能辅助识别和全病程管理项目获得成功

由中国罕见病联盟皮肤罕见病专业委员会发起，行业各界共同建设的“GPP人工智能辅助识别和全病程管理项目”取得了成果：泛发性脓疱型银屑病（GPP）人工智能辅助识别工具于6..

人工智能助力新版指南|2022全国乳腺癌大会暨CSCOBC年会精彩开幕！

2022年全国乳腺癌大会暨中国临床肿瘤学会乳腺癌（CSCO BC）年会今日在北京顺利开幕。CSCO BC年会是国内乳腺癌领域最具影响力的学术盛会之一。大会设立“科学前沿..

反弹能否持续？人工智能博士分析K线图，紫金陈也忍不住发声……

在经历前期的大幅调整后，4月末以来市场在波动中逐渐修复。此轮反弹能否持续？当前市场处于何种位置等成为市场关注的焦点。多位不同风格的基金经理也各抒己见。更有人工智..

八个问题，看清马斯克“将大脑上传云端”的“真与伪”丨新硬件主义02期

八个问题，看清马斯克“将大脑上传云端”的“真与伪”丨划重点●马斯克完全能做到“将大脑上传至云端”，但是早在2014年的巴西世界杯，脑机接口之父米格尔·尼科莱利斯已经..

知识分享|语音识别技术，聆听人工智能世界的声音

随着科技的飞奔让机器听懂人类语言已从梦想跨入现实实现如此科幻的一幕需要人机交互中重要技术——语音识别技术通过利用深度学习技术进行自然语言的深度理解，一直是人们关..

国内最顶尖的人工智能专家们，都在研究什么？

7月22日，第三届华为云AI院长峰会在贵安举行，多位中国工程院院士、中国科学院院士，及来自国内近30所顶尖高校的60多名院长、教授、专家汇聚一堂。最新的发展趋势与挑战最..

深创投的数字科技投资布局：关注企业服务及人工智能

来源 | 零壹财经作者 | 高星以人工智能、大数据、云计算、区块链等为代表的数字科技，正在深刻改变人类生产方式和生活方式，对于当下的数字经济以及可..

刚刚，2022中国人工智能最高奖开奖！66大奖项包含多个AI芯片成果【附名单】

潘云鹤院士获颁最高成就奖。作者|ZeR0编辑|漠影智东西7月16日报道，今日，我国智能科学技术最高奖“吴文俊人工智能科学技术奖”颁奖盛典在北京隆重举行。这是我国人工智能..

高考志愿怎么选？清北教授、人工智能专家的真心话

者按眼下，2022年高考刚刚结束，全国1193万考生与他们的家长即将面临一个重大选择：高考志愿填报。去什么城市读什么学校选什么专业，不仅决定着一个年轻人未来4年的学习与..

人工智能学会数学推理了，考试成绩比CS博士还高

机器之心报道编辑：杜伟、陈萍这是语言模型推理能力的一个重要里程碑。AI 在数学方面也有超越人类的趋势了？昨天，谷歌提交的一篇论文引发了机器学习圈的关注，其提出..

人工智能的“高考”时刻，AI大模型打先锋

用AI写一篇高分高考作文，分几步？作者|徐珊编辑|漠影“高考作文全国甲卷考了红楼梦”、“作文好难呀，我真不会写”……高考语文刚刚结束，有关高考作文红楼梦的话题直接冲..

滑板底盘探路，汽车行业的“硬件安卓”来了？

2021年11月10日，一家名为Rivian的美国造车新势力正式登陆纳斯达克，上市首日疯狂筹集近120亿美元，创下了汽车行业融资规模之最。更有意思的是，尽管Rivian上市时一辆车都..

肖亚庆：推动人工智能创新发展赋能制造业转型升级

6月24日，工业和信息化部党组书记、部长肖亚庆在天津出席第六届世界智能大会并致辞。肖亚庆表示，党中央、国务院高度重视人工智能发展。习近平总书记强调，要把新一代人工..

推动人工智能创新发展赋能制造业转型升级——肖亚庆出席第六届世界智能大会并致辞

6月24日，工业和信息化部党组书记、部长肖亚庆在天津出席第六届世界智能大会并致辞。　　肖亚庆表示，党中央、国务院高度重视人工智能发展。习近平总书记强调，要把新一代..

本文由 人工智能学家 来源发布

人工智能克服了类脑硬件的绊脚石

人工智能

评论问答
©2023  友人圈