2022-04-03 16:15

EleutherAI：当OpenAI不够开放时，我们该如何选择？

来源：ScienceAI

编辑：萝卜皮

人工智能最令人不安的事情之一是它超越了人类控制、遏制或规范它的权力。然而，它可能会产生可怕的结果，例如药物发现人工智能最近错误地发现了可用作化学武器的致命毒素。

今天，没有比 EleutherAI 更好的例子来说明 AI 的无拘无束了，EleutherAI 是一个松散的计算机科学家协会，他们建立了一个巨大的 AI 系统来与地球上一些最强大的机器学习模型相媲美。（这个团体的名字来源于古希腊语中的自由词，eleutheria。）

「我们基本上是一群在聊天室里闲逛以寻找乐趣的怪人。」该组织的创始人之一 Connor Leahy 说。虽然 EleutherAI 专注于 AI 安全，但他表示，他们的努力清楚地表明，一小部分非正统参与者可以构建和使用具有潜在危险的 AI。「一群黑客在一个山洞里，弄清楚这一点，绝对是可行的。」他说。

该小组的最新成果是 GPT-NeoX-20B，这是一个 200 亿参数、预训练、通用、自回归密集语言模型。如果你不知道这是什么，想想 OpenAI 的 GPT-3，这是一个大型语言模型，近两年前它的能力震惊了世界，包括编写从计算机代码到诗歌和虚假新闻故事等等，在风格和语调上都无法与权威来源区分。

OpenAI 也建立在 AI 应该对所有人开放的前提下——因此得名。但是，当研究实验室创建 GPT-2（其生成式预训练 Transformer 模型的第二次迭代）时，该模型的威力严重扰乱了 OpenAI，以至于他们推迟了其发布。GPT-3 现在只提供给选定的研究人员，并已获得 Microsoft 的独家许可，可用于商业应用。

当然，OpenAI 的模型比 EleutherAI 更大，有 1750 亿个参数——模型内部编码信息的节点或数字。参数越多，模型吸收的信息就越多、越细化，因此模型就越「智能」。

但 EleutherAI 是世界上同类模型中最大、性能最好的模型，可免费公开获得。将 EleutherAI 与 OpenAI 区分开来的唯一因素是训练大规模模型所需的计算能力。

OpenAI 在数量不详的 Nvidia V100 Tensor Core GPU 上训练了 GPT-3，这些 GPU 是有史以来用于加速 AI 的最快芯片。此后，OpenAI 的合作伙伴微软开发了一个用于大型模型训练的单一系统，该系统具有超过 285,000 个 CPU 内核、10,000 个 GPU，以及每个 GPU 服务器每秒 400 Gb 的网络连接。

这并没有阻止 EleutherAI。他们最初使用谷歌提供的硬件作为其 TPU 研究云计划的一部分，构建了一个具有 60 亿个参数的大型语言模型。对于 GPT-NeoX-20B，该小组得到了 CoreWeave 的帮助，CoreWeave 是一家专门针对基于 GPU 的工作负载的云服务提供商。

「目前由科技公司开发的私有模型的主导范式超出了研究人员的访问范围，这是一个巨大的问题。」EleutherAI 联盟的数学家和人工智能研究员 Stella Biderman 认为，「如果我们不了解它的工作原理，我们——科学家、伦理学家、整个社会——就无法就这项技术应该如何融入我们的生活进行必要的对话。」

EleutherAI 于 2020 年 7 月与一群「主要是自学成才的黑客」在社交媒体平台 Discord 上聊天。

「这是从我半开玩笑地说我们应该试着胡闹一下，看看我们是否可以建立自己的类似GPT-3的东西开始的。起初这真的只是一个有趣的爱好项目，在封锁期间，我们没有更好的事情可做，但它很快获得了相当大的吸引力。」Leahy 说。

图示：EleutherAI 的起源可以追溯到 2020 年夏天的一次 Discord 聊天。

Leahy 与其他独立爱好者黑客 Sid Black 和 Leo Gao 一起于 2020 年 7 月创立了 EleutherAI Discord 服务器。「我们认为自己是几十年前经典黑客文化的后代，只是在新的领域里，出于好奇和热爱挑战而对技术进行实验。」

Discord 服务器现在有大约 10,000 名成员，但只有大约 100 或 200 人经常活跃。一个由 10 到 20 人组成的核心小组致力于开发新的应用程序，例如 GPT-NeoX-20B。没有正式的法律结构。

该小组的既定使命是通过使这种规模的模型易于访问，进一步研究人工智能系统的安全使用。事实上，与 GPT-3 不同的是，具有完整模型权重的 GPT-NeoX-20B 可以在许可的 Apache 2.0 许可下免费下载。

「我们希望更多的安全研究人员能够使用这项技术。」Leahy 说，并补充说，研究人员了解他们正在使用的算法的程度令人震惊。他说，经过多次辩论，该组织「非常肯定，这种模型的构建和发布对社会是有益的，因为它将促成更多与安全相关的研究。」

事实上，EleutherAI 的工作已经促成了对大型语言模型的可解释性、安全性和伦理的研究。机器学习安全领域的主要人物 Nicholas Carlini 在最近的一篇论文中表示，「如果没有 EleutherAI 完全公开发布 The Pile 数据集及其 GPT-Neo 系列模型，我们的研究将无法进行。」Pile 数据集是一个 825 GB 的英文文本语料库，用于训练大规模语言模型。

Leahy 认为 AI 的最大风险不是有人利用它做坏事，而是构建一个非常强大的 AI 系统，没人知道如何控制。

「我们必须将 AI 视为不像我们思考的奇怪外星人。」他说，并补充说 AI 擅长优化目标，但如果给定一个愚蠢的目标，结果可能无法预测。他担心研究人员会在创造越来越强大的人工智能的竞赛中过度自信，在这个过程中偷工减料。「我们需要研究这些系统，以了解我们如何控制它们。」

2019 年，被视为强化学习之父的 Richard Sutton 写了一篇名为《痛苦的教训》的文章，认为「从长远来看，唯一重要的是利用计算。」他认为，人工智能的真正进步来自于用于简单学习和搜索算法的强大计算机的日益普及。

OpenAI 正是采用了这种策略，击败了 Dota 2 世界冠军，创造了一个足够灵巧的机器人手控制器来解决魔方，最后是它的一系列生成预训练模型，迄今为止在 GPT-3 中达到顶峰。

大型语言模型（如 GPT-3 和 EleutherAI 的 GPT-NeoX-20B）中使用的 Transformer 算法已被证明特别适合随规模改进。

Leahy 说：「真正令人难以置信的是让模型变得更大，提供更多数据，解锁全新的技能集，无需任何人工标签或教学。」清华大学的一个小组已经创建了一个基于转换器的模型，该模型具有 100 万亿个参数——与人脑中突触的数量相当——尽管他们迄今为止未能将其训练完成。

Leahy 说，任何志同道合的计算机科学家都可以构建一个大型语言模型，但由于需要计算能力，它很难隐藏并且可能非常昂贵。

「实际上很难获得合适的硬件来训练大型语言模型。」他说，并补充说这需要非常高的资本投资，而如今只有几百家公司拥有这种硬件。「现在，这不是你可以匿名做的事情。」

相关报道：https://spectrum.ieee.org/eleutherai-openai-not-open-enough

未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）大脑研究计划，构建互联网（城市）大脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。

如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

上一篇：全息通信深度报告，6G时代革命性通信方式，“人-机-物-境”完美协作【附下载】|智东西内参..
下一篇：老美扯下了遮羞布，这次台积电可能真的后悔失去华为这个客户了

我们该如何给孩子“讲英雄”（重发）

首先要给李镇西老师以及亲爱的读者朋友们，郑重说声抱歉：这篇推文本来已经在昨晚发了次条，却由于我们自己排版打字失误，写错了几个关键字，因此做了删除处理，并在今天重..

嘴巴干裂出血该如何解决嘴巴干裂出血怎么办

嘴巴干裂出血可以涂少量护唇膏，用药品软膏治疗，比如红霉素软膏、西瓜霜、青霉素，最后在睡觉之前涂上维生素E或者蜂蜜。　　1、使用护唇膏　　在天气干燥的时候，往嘴唇上..

防晒系数怎么选择防晒系数该如何选择

防晒系数是指防晒霜的SPF值，SPF值是针对UVB的防护评价，被称为防日晒系数。一般类型的皮肤可以选择SPF值在8-12之间的防晒霜，如果皮肤对光敏感的就选择SPF值在12-20之间的..

眼袋和眼角细纹怎么办眼袋和眼角细纹该如何处理

当眼袋和眼角细纹出现时，一定要做好眼周肌肤的护理工作，加强眼周肌肤的补水保湿。可以每天涂抹眼霜并适当按摩眼部肌肤，这样既能加强眼霜的吸收效果，也能缓解眼袋和眼角..

晕车是什么原因引起的晕车是什么原因引起的该如何缓解

晕车是什么原因引起的，相信看到题目的大家都是有过晕车经历的朋友们，说起晕车应该都是一些不好的回忆，不仅自己难受，有很多时候还会影响连累其他人，所以很多人现在开始..

如何正确教育孩子的十大方法_该如何正确的教育孩子

今天给各位分享如何正确教育孩子的十大方法的知识，其中也会对该如何正确的教育孩子进行解释，如果能碰巧解决你现在面临的问题，别忘了关注本站，现在开始吧！如何正确教育孩子的十大方法教育孩子的方法如下：1、对孩子的教育应该有耐心，然而说起来容易做起来难，想想自己的父母教育自己的时候，自己..

黑头挤不出来怎么办黑头挤不出来该如何解决

黑头挤不出来就可以使用专用的黑头鼻贴来帮助祛除黑头，也可以使用牙膏、小苏打和卸妆水来去除，或者用黄瓜片蘸鸡蛋清后敷在黑头上，这些方法都可以起到去黑头的效果。所以..

脸上长粉刺怎么办脸上长粉刺该如何解决

常喝蜂蜜水，面膜改善皮肤，药物改善，绿豆面膜，中药皂、大米皂。　　长粉刺的解决办法一：常喝蜂蜜水　　常喝蜂蜜水可以美容养颜，去火护肤。脸上的粉刺痘痘等产生原因各..

犹如老年斑的扁平疣，该如何处理？

作者：陈楚雄审核：伍俊妍单位：中山大学孙逸仙纪念医院来源：逸仙药学扁平疣？张先生无意发现自己手上长着很多淡褐色的小圆点，不痛不痒，张先生心想"我才三十多岁，怎么..

小人该如何对付

小人是很受人讨厌的，那么小人该如何对付？请看下文。操作方法01不要在小人面前表现出你讨厌他，反而见到小人后跟他笑笑，表示你对他的友好。02不要与小人太过亲近，也不要..

生活压力巨大，该如何自处自我压力过大

今天就跟随小编一起看看生活压力巨大，该如何自处？这里和大家简单介绍一下!刚步入社会，压力山大，请各位前辈支招！操作方法 01有一句话，值得一生去真正的懂得它：..

分析|高品质SUV该如何选？别克SUV家族表示：这题我们会啊！

众所周知，不同的汽车品牌和SUV车型，会有各自的定位，有的主打硬派，有的主打越野，有的主打科技，但在“高品质出行生活”成为用户核心诉求的当下，绝大多数汽车品牌和SUV..

热射病该如何防治？夏季防暑祛湿，8种常备中成药+服务话术即学即会！

近来，气温一直保持在高位，让不少人直呼：“热死了！”然而，“热死了”并非只是一句玩笑，今年全国各地已有多人确诊热射病，有的患者因此昏迷，严重者甚至不幸身亡。那么..

为何老人一摔就容易骨折？到老后，该如何强健骨骼？

老年人的骨头就像是瓷娃娃一样脆，感觉轻轻一碰就碎，有人可能觉得这样的比喻太过夸张，但事实上并不夸张，有过骨折经历的老人，应该会深有感触。在生活中，有一些老人只是..

电信诈骗手段有哪些日常中该如何防止被诈骗电信诈骗有哪些防范措施

电信诈骗已经成为现代诈骗分子最常用的一种诈骗方式，这样一个网络时代，诈骗分子的手段也是“与时俱进”，再说了，现代人对于现实中的那些骗术大多数都会保持一定的戒心，..

糖尿病患者该如何喝粥？

（特约作者：天津医科大学第二医院张医生）喝粥是中国很多地方的饮食习惯，很多地方早餐、晚餐甚至三餐都离不开喝粥。那么，对于糖尿病患者，到底能不能喝粥，一直存..

新能源汽车大潮已来，充电桩和电网该如何做好准备？

我国希望到2030年电动汽车能占到当年新车销量的40%，但首先必须解决充电桩需求问题。在“双碳”背景下，国务院在《2030年前碳达峰行动方案》中设立了一个目标：到2030年，..

久吹空调膝盖发凉、颈椎酸痛，该如何缓解？听专家支招→

夏至已至天气越来越热很多人选择开空调降温但久吹空调膝盖发凉、颈椎酸痛很不舒服如何缓解？一起往下看↓↓↓炒盐热敷膝盖真的管用吗？不少人推荐“盐包热敷法”用于改善膝..

橘子该如何保存食用有什么好处与禁忌橘子放保鲜里面还能不能吃

秋天是个丰收的季节，水果挂满枝头，硕果累累。小编家里的橘子、柚子、柿子都迎来了大丰收，这么多的水果一下子吃不完，要如何保存呢？今天小编主要给大家介绍的是橘子，橘..

15岁女孩误食毒菌，全身换血保命！注意这4种表现！中毒该如何自救？

春夏时节是食用野生菌中毒的多发期，食用野生菌中毒者分为胃肠炎型，临床表现为剧烈恶心、呕吐、腹痛等；神经精神型，临床表现为头昏、恶心、呕吐，然后出现烦躁、谵妄、幻..