事关人工智能安全，美欧在广泛部署，我们如何未雨绸缪？

与此同时，人工智能安全风险也不容忽视。作为信息系统的安全缺陷，漏洞会导致系统在未经授权的情况下被访问或遭到破坏，会被攻击者有目的地利用——它已成为网络空间战中的“杀手锏”。公开信息显示，2021年以来，谷歌深度学习开源平台TensorFlow频繁被曝出安全漏洞，国家信息安全漏洞共享平台(CNVD)仅2021年5月28日一天就收录了46个安全漏洞。

这些漏洞的存在和被利用，给人工智能应用带来哪些安全风险？我们又应如何防堵、解决、治理？

▲图/视觉中国

国外平台占据我80%市场

所谓“深度学习开源平台”，可以简单理解为由技术领先的人工智能公司提供，为绝大多数开发者或企业降低深度学习以及人工智能开发门槛的服务平台。在这个平台上，开发者或企业可以“站在巨人的肩膀上”，根据自身的需求，挑选适合自己的算法，数据“搭积木”，快速训练、部署自己的学习模型，进而赋能产业。

目前，全球主流深度学习开源平台主要被美国垄断，比如谷歌TensorFlow、脸书Torch和PyTorch、微软CNTK、亚马逊MXNet以及Caffe、DL4J等。市场调研机构IDC 2020年《深度学习框架和平台市场份额》报告显示，我国正在应用的深度学习开源平台，市场份额前三位的是谷歌、百度和脸书。其中，国外平台市场总份额接近80%，占主导地位。

不仅如此，目前我国主要行业用户对国外平台依赖度普遍较高。在国内，为了方便使用开源组件提高开发效率，便于与国外开展技术和学术交流，不少重要行业企业都在使用谷歌TensorFlow等国外平台。这些国外平台应用领域涉及通信、互联网、医疗、海洋等，业务类型包括通讯网络割接、病例标注、海面温度预测，以及图像、自然语言理解、语音识别和推荐等。

然而，主流开源平台普遍存在安全漏洞。目前，TensorFlow、Caffe、Torch等国外平台均被曝出过安全漏洞。来自开源软件社区GitHub的数据显示，2020年以来，TensorFlow被曝出安全漏洞百余个。其中，百度安全团队发现了75个可导致系统不稳定、数据泄露、内存破坏等问题的安全漏洞；360公司发现49个。

近期，360还对国内外主流开源AI框架进行了安全性评测，累计7款机器学习框架（如TensorFlow、PyTorch等）被发现漏洞150多个，框架供应链漏洞200多个。

其实，早在2017年，美国佐治亚大学、弗吉尼亚大学等院校就发现TensorFlow、Caffe和Torch三个平台有15个漏洞，类型包括DOS拒绝服务攻击、躲避攻击、系统损害攻击等；当时，腾讯安全团队还发现TensorFlow组件存在重大漏洞，如果开发者编写机器人程序时使用该组件，黑客可轻易通过该漏洞控制机器人。

▲图/图虫创意

风险几何

那么，这些漏洞能“漏”出多大风险？

最直接的是，漏洞极易通过开源平台被植入人工智能系统。

市场调研机构Gartner调查显示，99%的组织在其信息系统中使用了开源软件。开源代码和软件构成了深度学习开源平台系统的基础，开源代码和软件本身带有安全漏洞，而很多开源平台还没有修复漏洞的响应机制。

国家计算机网络应急技术处理协调中心的调查结果显示，近6年来，开源组件生态中漏洞数逐年递增，2020年新增漏洞数3426个，同比增长40%。

2020年，国家信息安全漏洞共享平台发现开源软件Apache Tomcat存在漏洞，可能造成部分重要配置文件或源代码等敏感数据泄露，在一定条件下还可实现远程代码执行，使用者的服务器会被直接控制。

人工智能系统内部连接紧密而复杂，算法存在以统计方式进行学习、完全依赖数据等固有特性，很多关键应用依存于后端的人工智能体系，而人工智能体系又依赖于开源平台提供的训练模型，黑客可轻易通过开源平台向人工智能应用植入漏洞或利用漏洞开发恶意模型，从而控制并篡改人工智能应用。而一旦开源平台失守，连锁式崩盘将不可避免，甚至比互联网时代传统黑客攻击的后果更严重。

并且，此类漏洞预埋在平台最底层，迷惑性较强，在开源平台安全测试和认证缺位的情况下，大部分开源平台研究和应用人员都难以识别平台存在的安全风险。此外，基于深度学习开源平台开发的应用通常需要复杂的数据训练过程，导致恶意模型攻击短时间内很难被察觉。

目前，国外开源平台牢牢掌控着核心资源和游戏规则，一旦有目的性地植入带有漏洞的开源代码并被恶意利用，人工智能应用的安全性和可靠性会大打折扣，从而造成重大损失和恶劣影响。

比如，2019年特斯拉Model S入侵事件，黑客仅通过远程入侵，就可控制车辆终端系统，通过系统存在的漏洞打开车门并开走；此外，还能向车辆发送命令，使其在正常行驶中突然关闭系统引擎。

更值得警惕的是，漏洞作为关键武器资源，已被各国广泛储备。

当前，国家间的网络空间对抗日趋激烈，有组织的国家级网络攻击频发。为了抢占网络空间对抗主动权，美、俄、欧等国家和地区积极发展网络空间作战力量，打造网络攻击武器库，并将漏洞作为一类关键武器资源进行储备。2017年“永恒之蓝”漏洞就披露了美国囤积网络漏洞武器的行为。

近年来，为丰富漏洞武器库，美国政府和军方通过设立漏洞赏金、举办漏洞挖掘比赛等方式收集了大量有价值的漏洞，同时对漏洞披露机制预留了较多例外项，以延缓或不披露特定漏洞。

比如，2018年美国的《网络漏洞披露报告法案》就要求国土安全部对漏洞进行国家安全评估，然后再决定是向制造商和公众披露漏洞还是利用新发现的漏洞攻击潜在对手。

与传统网络安全漏洞不同，人工智能漏洞深嵌于算法及其所依赖数据，可经过系统体系化的“学习吸收”感染整个系统，导致密码设置等传统网络安全手段难以应对或修复，并产生崩盘式效应，极易成为美国等国家的新型武器。

如何防“风”治“漏”

基于我国深度学习开源平台应用及安全现状，建议从三大层面切入，防风治漏、未雨绸缪：

其一，加强人工智能网络安全漏洞管理。

一是落实《网络产品安全漏洞管理规定》，建立健全漏洞评估、共享、利用和管控等制度，规范漏洞发现、报送、披露和修复全流程，实现漏洞闭环管理。

二是建设和完善网络产品漏洞信息收集共享平台，建立人工智能漏洞资源库，加强与国家信息安全漏洞共享平台（CNVD）、国家信息安全漏洞库（CNNVD）等漏洞资源库的资源共享，共同保障国家漏洞资源安全和有效利用。

其二，推动国产深度学习平台研发应用。

一是将深度学习开源平台自主可控纳入国家规划并抓好落地实施，利用科技专项支持深度学习开源平台核心技术的研发，突破开源平台关键核心技术瓶颈，提升人工智能产业链的自主可控水平。

二是加强国产自主可控深度学习开源平台的推广应用，利用首台（套）政府采购等政策，推动国产深度学习平台在人工智能创新应用先导区的“先行先试”应用，鼓励地方政府联合人工智能头部企业建设人工智能赋能中心，加快推动国产平台在通信、制造、交通、能源和医疗等重点行业的示范应用，逐步实现对国产平台的迁移和全替代。

三是充分发挥相关产业联盟作用，鼓励和引导更多应用单位在国产深度学习开源平台上进行开发应用，构建合作共赢的人工智能产业生态。

其三，健全“云-管-端”网络安全保障体系。

一是加强通信网络安全保障能力建设，建立健全网络安全风险监测、预警、通报和处置机制，完善威胁发现、攻击阻断、溯源反制等技术手段，定期开展网络安全检查、检测和评估等工作，保障通信网络安全稳定运行。

二是加强车联网、物联网等智能终端管理平台的安全保障能力，完善车联网、物联网等平台安全标准体系，强化平台与智能终端间的网络信任和安全通信体系建设，提升车联网、物联网等平台的安全水平。