美国安全与新兴技术中心发布《对抗性机器学习和网络安全》

来源：美国安全与新兴技术中心官网

转自：元战略

作者：元战略观察员

2023年4月5日，美国安全与新兴技术中心（CSET）发布报告《对抗性机器学习和网络安全》。人工智能系统正广泛应用于与经济相关的各个部门，但研究表明，这些人工智能系统可能容易受到攻击。这份报告意在解决两个问题：

1. 人工智能系统存在的问题与常见的网络安全漏洞有何不同？

2. 各部门应该如何解决这些问题？

报告围绕人工智能漏洞展开讨论，包括它们与其他类型漏洞的不同之处，以及关于AI漏洞的信息共享和法律监督现状，同时提供了问题解决建议。讨论主题分为以下四个方面：

01扩展传统网络安全定义，将人工智能漏洞纳入其中

     

（一）现状与问题

对人工智能系统的攻击早已屡见不鲜。研究人员一再证明，机器学习算法和训练过程中普遍存在漏洞，并且难以修复。此外，人们普遍认为，随着人工智能模型应用范围日益广泛，它们受到基于深度学习的攻击频率将会增长。

人们在应对人工智能漏洞上面临挑战。一方面，现有的网络安全框架足够涵盖新出现的漏洞类别，例如基于深度学习方法产生的漏洞。因此，在现有的漏洞管理框架下分析人工智能的开发风险是可行的。另一方面，人工智能漏洞在某些方面与传统软件漏洞不同，可能需要扩展或调整现有网络安全风险治理框架。在高度抽象的层面上，AI和传统软件漏洞在以下方面有所不同:

1. AI漏洞通常来自训练数据和训练算法之间的复杂交互。某些漏洞的出现源于训练AI模型的特定数据集，通常在模型训练结束之前难以得到预测或缓解。

2. “修补”人工智能模型中的漏洞可能需要对其重新训练，但成本太高，甚至根本不可行。为减少安全漏洞而进行的模型再训练也可能降低非恶意系统输入的整体性能。

3. 在许多情况下，人工智能系统中的漏洞可能只是短暂的，并随环境的变化而变化。但当环境发生变化时，系统受到的攻击和解决办法可能无法很好地转移。

4. 在人工智能系统中，漏洞通常很难界定。有时很难区分恶意攻击和普通的用户操作，比如戴太阳镜导致面部识别系统无法正常工作。虽然这个问题并非人工智能独有，但它确实使人工智能漏洞的定义变得复杂。

这些差异可能会改变人工智能系统中漏洞的处理方式。例如，一旦不可能完全“修补”漏洞，应对措施将会侧重于风险缓解而非风险补救（完全消除系统潜在的脆弱性）。

（二）相关建议

1. 构建或部署人工智能模型的组织应该使用风险管理框架，在整个人工智能系统生命周期中解决安全性问题。

2. 对抗性机器学习研究人员、网络安全从业者和人工智能组织应该积极尝试扩展现有的网络安全体系，以覆盖人工智能漏洞。

3. 对抗性机器学习领域的研究人员和从业者应该咨询那些解决人工智能偏见和稳健性的人，以及其他具有相关专业知识的社群。

02增强信息共享，提高安全意识

     

（一）问题与现状

目前还很难准确评估AI系统受到的攻击威胁可以达到何种严重程度。一是，大多数关于现有人工智能漏洞的信息都来自学术研究机构、网络安全公司或人工智能系统的内部研究人员；二是，缺乏系统和标准化的方法来跟踪AI资产（如数据集和模型）及其相应的漏洞；三是，对于一些类型的攻击，攻击检测可能需要有意义的机器学习或数据科学专业知识才能实现。由于许多网络安全团队可能不具备检测此类攻击的所有相关专业知识，组织可能缺乏识别人工智能漏洞的能力和动力。

即使发现了漏洞或观察到恶意攻击，由于目前还不存在专业可靠的信息共享平台，这些信息也很少会传输给其他人，无论是同行组织、供应链中的其他公司、最终用户，还是政府或民间社会观察员。

为了避免这种结果，报告建议开发人工智能模型的组织采取措施，将信息共享规则制度化，监测人工智能系统的潜在攻击，并提升透明度。

（二）相关建议

1. 部署人工智能系统的组织应增强信息共享意识与能力，以促进对人工智能漏洞的理解。

2. 人工智能部署人员应该注重在产品生命周期的每个阶段构建人工智能开发的安全文化。

3. 高风险人工智能系统的开发人员和部署人员必须优先考虑透明度原则。

03明确人工智能漏洞的法律地位

     

（一）问题与现状

美国还没有全面的人工智能立法（短期内也不太可能）。然而，许多法律领域——包括刑法、消费者保护法、隐私法、民权法、政府采购要求、普通法的合同规则、过失和产品责任，甚至美国证券交易委员会关于上市公司信息披露义务的规则——都与人工智能的不同方面有关。就像人工智能不太适合传统的网络安全风险框架一样，现有法律也无法完全涵盖它。迄今为止，关于人工智能的大部分政策关注都集中在对偏见和歧视的担忧上。

报告认为人工智能漏洞应该尽可能地在现有的网络安全流程下解决，最好通过扩展和调整网络安全法律来处理，而不是试图将人工智能安全作为一个独立的主体来监管。虽然网络安全法律在不断发展，但仍有许多问题尚未解决。目前还没有一部全面的网络安全法律，也几乎没有任何案件能够对人工智能漏洞的责任做出明确裁决。

（二）相关建议

1. 与网络安全相关的美国政府机构应解释如何将人工智能安全问题纳入并其监管结构。

2. 目前没有必要修改反黑客法来专门处理针对人工智能系统的攻击。

04支持相关研究，提高人工智能安全

     

（一）问题与现状

开发安全人工智能系统的许多障碍本质上属于社会和文化层面，而不是技术层面。虽然对抗性机器学习是一个快速发展的领域，但一些研究表示，它在所有人工智能学术研究中的占比不足1%，而且现有的研究主要集中在一小部分攻击类型上，不能代表现实世界的所有攻击场景。

与此同时，学术界对抗性机器学习方面的研究尚有不足，从技术上消除这些漏洞的可行性尚不确定。特别是，目前还不清楚是否可以建立起通用防御，来应对多种类型的攻击。报告多次提及安全性和性能之间的潜在权衡，尽管这种权衡是非常必要的，但很难评估其影响并建立应对方案，从而利益相关者难以参与风险管理。

(二）相关建议

1. 对抗性机器学习研究人员和网络安全从业者应该寻求比过去更密切的合作。

2. 人工智能研究的投资方向应更加重视人工智能的安全性，包括资助研发可以促进更安全的人工智能开发的开源工具。

3. 政府政策制定者不应仅仅停留在安全标准的制定上，还要为评估人工智能模型的安全性提供测试平台。