 人工智能参与战争决策的双刃剑：风险与机遇分析  作者：Toni Erskine，澳大利亚国立大学亚太事务学院；Steven E. Miller，哈佛大学贝尔弗科学与国际事务中心。 来源：Erskine T., & Miller S. E. AI and the decision to go to war: future risks and opportunities. Australian Journal of International Affairs, Vol.78, No.2, 2024, pp.135-147. 导读 本期《澳大利亚国际事务杂志》刊发了Toni Erskine和Steven E. Miller合著的《人工智能与战争决策：未来风险与机遇》一文，作为“预见战争的未来：人工智能、自动化系统与诉诸武力决策”特刊的开篇之作。两位作者分别来自澳大利亚国立大学亚太事务学院和哈佛大学贝尔弗科学与国际事务中心，他们以深厚的学术背景和前瞻性视角，探讨了一个迄今为止在很大程度上被忽视的重要议题：人工智能系统对国家层面战争决策的潜在影响。 在当前人工智能技术迅速发展的背景下，军事领域的人工智能应用已经引起广泛关注，尤其是在武器系统的效用、精确度和自主性方面。然而，本文将讨论的焦点从战场层面提升到战略决策层面，审视人工智能如何影响国家是否发动战争的根本决定。作者指出，尽管目前人工智能系统对战争决策的影响仍然有限且间接，但这种影响将不可避免地变得更加直接和深远，无论是通过自动化自卫系统还是为人类决策提供支持的智能系统。文章特别强调了四个与人工智能介入战争决策相关的“复杂因素”，并围绕这些因素组织了特刊中的十二篇多学科研究文章（陆续编译刊出）。这些复杂因素涉及人工智能在军事决策中的伦理问题、技术可靠性、战略稳定性以及法律责任等多个维度。作者认为，在被恰当描述为人工智能“全球军备竞赛”的背景下，各国为了匹配潜在对手的能力，将不可避免地推动人工智能在战争决策中的应用。本文的重要价值在于它超越了关于军事人工智能的常规讨论范围，不仅关注“战争中的人工智能”，更关注“人工智能决定的战争”这一更为根本的问题。它提醒我们，随着人工智能技术的发展，我们需要认真思考这些技术如何改变国家间冲突的本质，以及如何在追求军事优势的同时，确保人类对战争决策的适当控制和监督。对于关注国际安全、军备控制和战略稳定的研究者和政策制定者而言，本文提供了一个重要的思考框架，帮助我们更好地理解和应对人工智能时代的战争与和平问题。 当前背景 人工智能（AI）——机器模拟智能人类行为的不断发展能力——已经在根本上改变着有组织的暴力形式。AI已经并正在越来越多地被整合到广泛的军事功能和能力中。例如，澳大利亚、英国和美国的“AUKUS”协议相关文件概述了AI在先进军事能力中的扩大角色，包括对“弹性和自主人工智能技术”的承诺，通过提供“人工智能算法和机器学习，以增强部队保护、精确打击和情报、监视与侦察”。AI在军事领域的这种扩散不仅对武器系统的效用、准确性、致命性和自主性产生了深远影响，而且AI与先进武器系统的结合被认为对军事力量平衡有重大影响。事实上，AI现在被视为追求军事优势的关键要素，并在维持军事优势的战略思考中占据中心位置。正如一项分析所指出的，AI“将使美国能够部署更好的武器，在战斗中做出更好的决策，并实施更好的战术”。用前美国国防部副部长Michele Flournoy的话说，“AI正开始重塑美国国家安全”。军事AI的日益重要性和应用扩大伴随着对其潜在风险和不良后果的担忧。一个充满AI辅助决策、时间压缩、智能自动化甚至完全自主武器的世界，既带来军事优势，也带来危险。这促使人们尝试制定规则和限制，以约束至少部分军事AI应用，并尽量减少危险或不良后果。这种监管不仅是学术界的关切。有充分证据表明，各国政府也越来越关注军事领域使用AI的广泛风险。2023年2月在海牙举行的“军事领域负责任AI”国际峰会发布了《负责任军事使用人工智能和自主性政治宣言》，截至2024年2月已有50多个国家认可。该宣言包括一系列旨在促进安全谨慎使用军事AI的措施，包括AI的使用应“在负责任的人类指挥和控制链条内进行”。 2023年11月，澳大利亚国防部长Richard Marles宣布澳大利亚加入该宣言时，重申了澳大利亚“积极参与国际议程，推动负责任的AI研究、开发、部署和应用”的承诺。此外，在2023年10月华盛顿会晤后的联合声明中，时任美国总统拜登和澳大利亚总理阿尔巴尼斯确认“各国应采取适当措施确保负责任地开发、部署和使用其军事AI能力，包括那些支持自主功能和系统的能力”。当然，为了有意义地采取此类措施，了解并预测AI系统在军事环境中的全部应用方式至关重要。本特刊旨在通过探讨迄今为止基本未被关注的、新兴的AI系统应用来增进这种理解。最后，我们不能不提及最近围绕军事AI与核武器结合所引发的关注和担忧。表明国际社会对这种潜在结合的忧虑，2023年11月中美领导人在旧金山双边峰会前有广泛报道猜测美中将“承诺禁止在核弹头控制和部署中使用人工智能”。虽然当天没有做出这样的承诺，但峰会后，两国政府似乎回应了围绕预期声明的期待，发表了关于美中需要进一步对话讨论先进AI系统风险的声明。 被忽视的前景 学术界和政策制定者的关注点主要集中在人工智能系统在战争实施过程中的应用上，如致命自主武器系统（LAWS，俗称“杀手机器人”）以及在无人机打击和轰炸中推荐目标的决策支持系统（如以色列在加沙近期使用的系统）。相比之下，本特刊关注的是一个相对被忽视的领域：人工智能技术在战争决策的各个阶段和层面的应用前景。本次特刊的研究重点从“战场上的AI”转向“战略会议室中的AI”，从士兵选择和攻击目标的决策（以及授权和监督智能机器选择和攻击目标）转向国家层面关于发动战争和军事干预的决策；从战时法（jus in bello）转向战争正义法（jus ad bellum）的考量；从受国际人道主义法约束的行动转向受联合国宪章关于武力使用禁令及其明确例外情况约束和认可的行动。 这一研究重点的转变在当前时刻尤为关键。作者们预测，人工智能将不可避免地渗透到战争决策过程中。这一预测部分基于AI驱动系统（包括预测性机器学习算法）在众多其他领域中辅助决策的稳步扩散。从招聘、保险决策、医院诊断、福利分配，到警务实践、商业飞机驾驶舱支持和累犯可能性判断，人类决策越来越依赖AI的辅助。此外，在日益高速且高风险的战争环境中，与潜在对手能力匹配的需求推动了被恰当称为最新“全球军备竞赛”的发展。虽然AI系统目前在国家层面的战争决策中只发挥有限且间接的作用，但我们确信它们将以更直接的方式逐步影响这类决策。通过现在就研究AI逐渐干预战争决策的前景，我们有可能在还有时间增强或减轻这些技术的影响时，识别其益处和风险。 这些考量的严肃性不容低估。正如德克斯、卢贝尔和默里（2019年）所提出的挑衅性问题：“如果赋予机器决定杀死单个敌方士兵的权力已充满伦理和法律争议，那么机器最终决定一个国家是否参战，从而影响数千或数百万人生命的可能性又该如何评价？”当然，智能机器“决定”一个国家是否参战可能有不同的含义。撇开科幻场景和长期未来推测，当前的AI系统可能通过两种方式影响战争决策：一是AI决策支持系统可用于为是否参战的决策提供信息。在这种情况下，人类决策者将利用算法推荐和预测来做出决策。这已经开始间接发生，特别是在AI辅助的情报收集和分析方面，这些情报会通过组织层级和指挥链向上传递。二是 AI系统本身可以计算并执行关于使用武力的决策，例如在防御网络攻击的情况下。此外，也有人提出并威胁使用AI驱动的自动核反应系统，特别是在首脑被消灭的情况下（据报道，苏联遗留给俄罗斯的“死亡之手”发射系统仍在使用中）。在这些情况下，行动方案将由AI自主系统决定并执行——无论是否有人类监督。这两类场景都涉及可预见的（且可能在近期发生的）发展，需要立即引起关注。 四大挑战 尽管AI驱动系统具有诸多潜在优势——能够分析海量数据、通过发现人类决策者无法察觉的数据模式提供建议和预测、以人类无法企及的速度和效率应对潜在攻击——但挑战也随之而来。2023年6月29-30日在澳大利亚国立大学举办的“预见战争的未来：AI、自动化系统与武力使用决策”研讨会，旨在探讨AI系统融入国家层面武力使用决策过程中可能出现的四大主题性“挑战”。 挑战一：人类判断的替代及其对威慑理论和冲突意外升级的影响 当智能机器被编程为针对特定情况提供建议——或独立计算并执行响应——时，其行为将与人类行为有所不同。这种差异可能挑战我们对威慑的理解。目前对一个国家使用武力意愿的认知基于人类判断、决心和克制的假设，而非机器生成的结果。此外，被授权在特定情境下独立应对侵略的AI系统将以人类无法企及的速度做出并执行决策，从而加速决策周期。这些系统也可能误解人类信号（例如关于降级冲突的意愿）。这两个因素都可能导致在人类决策者本会保持克制的情况下，出现意外且潜在灾难性的武力使用升级（参见Wong等人2020年著作第7、8章）。 挑战二：自动化偏见的潜在影响 实证研究表明，依赖AI系统的个人和团队往往会经历“自动化偏见”，即倾向于不加质疑地接受计算机生成的结果（Cummings 2006; 2012; Mosier and Fischer 2010; Mosier and Manzey 2019; Skitka, Mosier, and Burdick 1999）。这种倾向可能使人类决策者不太可能运用自己的专业知识和判断来检验机器生成的建议。自动化偏见的不良后果包括接受错误、人类行为者技能退化（包括“道德技能退化”）（Vallor 2013），以及，正如本特刊一位作者在此和其他地方所论述的，促成（与其他因素一起）战争中的“责任错置”，即危险地误认为智能机器可以为必然是人类的决策及其后果承担道德责任（Erskine 2024a, 551–554; 2024b）。 挑战三：算法不透明及其对民主和国际合法性的影响 机器学习过程通常不透明且难以预测。那些受其指导的人往往不理解预测和建议是如何得出的，也不了解其局限性。当前AI驱动决策中普遍存在的透明度缺失已在多种情境下导致负面后果（Knight 2017; Pasquale 2016; 2017; Vogel等2017）。由于政府的民主和国际合法性要求对使用武力的决定提供令人信服且易于理解的理由，当机器参与提供信息或独立计算并执行此类行动方案时，这种透明度缺失引发了严重关切。 挑战四：AI系统可能加剧组织决策病理 国际关系和组织理论研究揭示了组织决策中现有的复杂性和“病理”（在国际关系领域，参见Barnett和Finnemore 1999）。AI驱动的决策支持和自动化系统介入这些复杂结构可能会放大此类问题。它们对国家层面甚至政府间层面决策的贡献可能会扭曲和破坏战略和作战决策过程及指挥链。本特刊十二篇文章将在自动化自卫或利用AI驱动的决策支持系统为人类武力使用决策提供信息的背景下，探讨这些挑战。每篇文章都确定了在其中一种情境中使用AI系统的风险或机遇，探讨如何减轻风险或促进机遇，有时还会指出所谓的“挑战”被夸大了，无需解决。 贡献 值得注意的是（或许也是不同寻常的），这项集体努力旨在把握在战争决策中使用AI系统的潜在危害和益处，涵盖了多个学科领域。这些干预分别来自政治学、国际关系、法律、计算机科学、哲学、社会学、心理学和数学的视角。 本特刊以Ashley Deeks（2024）的文章开篇，预见各国将越来越倾向于（考虑到高超音速攻击的可能性）允许AI系统在特定情况下对使用武力做出自主判断。Deeks指出，这种自主权的使用实际上是将重要的武力使用决策“委托”给机器，并从美国法律体系出发，提出了关于这种“机器委托”是否以及如何能够被证明合理的关键法律和规范性问题。Benjamin Zala（2024）继续探讨在某些情况下将人类排除在武力使用决策“循环”之外这一重要可能性，特别关注在核指挥控制系统中使用AI和机器学习的高风险场景。Zala警告有两条路径可能增加国家先发制人的动机（无论是使用核武器还是战略非核武器）：军事部署的自动化；以及在早期预警威胁评估中引入AI辅助的人类决策。他认为，在这两种情况下，人类谨慎和克制的丧失将是关键因素。Marcus Holmes和Nicholas J. Wheeler（2024）以完全不同的方法介入讨论，探讨AI在核危机管理中的潜在作用。虽然Zala的主要关注点是AI系统在此背景下的风险，Holmes和Wheeler则乐观地转向其机遇。尽管他们明确拒绝允许AI系统操作核指挥控制的任何想法，但他们认为这些系统可以有价值地增强此类情境中的人类决策。他们承认AI缺乏情感智能，但仍然提出AI技术提供了培养同理心、信任和他们所称的“安全困境敏感性”的机会。 同样关注AI工具补充而非取代人类武力使用决策的看似更无害的情况，Toni Erskine（2024b）认为，我们与此类决策支持系统的互动威胁到我们对战争克制的国际规范的遵守。Erskine指出了这种有害影响的两个来源：我们倾向于将AI工具误认为本身具有责任能力的行为体（“责任错置的风险”）；以及我们对这些工具产生的输出的误解（“预测许可性的风险”）。她认为，每一个错误不仅使特定情况下发动战争看起来更为可行，还会附带侵蚀来之不易的国际规范本身。与Erskine提出的第一个风险一致，Mitja Sienknecht（2024）也关注人机武力使用决策如何使责任归属复杂化。然而，她提出了一个不同的问题：当决策受到无法连贯分配责任的AI系统影响或由其做出时出现的“责任缺口”。作为回应，Sienknecht引入了“代理责任”这一有趣概念，该概念承认围绕AI影响下的武力使用决策的政治、军事和经济结构，并寻求一种将机器行为责任归于人类行为者的务实方式。 伴随着这些复杂的责任归属问题的，经常是关于人类行为者在决策方面如何——以及应该如何——与AI系统相关联的讨论。事实上，关于人类在与智能机器共同做出战争启动决策的“循环”中应处于何处、是否应该存在以及为何应该存在的问题，贯穿本特刊并被反复讨论——通常伴随着对人类行为者不可替代的美德和能力的主张。Jenny L. Davis（2024）通过关注应该由什么类型的人类行为者来解释和实施AI在武力使用决策（和其他高风险场景）中的输出，对这些辩论提供了新颖的看法——并对“有意义的人类控制”的普遍呼吁增加了一项规定。仅仅要求“人在循环中”是不够的。相反，她认为我们需要“专家在循环中”，这一结论意味着需要雇用、支持并为人类从业者提供持续的专业培训。Maurice Chiodo、Dennis Müller和Mitja Sienknecht（2024）同意Davis关于培训和教育人类行为者的重要性，但将注意力转向AI开发者的教育。他们首先假设，负责任的军事AI开发是减轻其他贡献者所指出的将AI技术整合到武力使用决策中的各种风险的必要条件。他们专注于为开发者提供关于伦理问题的明确培训，以减轻导致此类风险的有害路径依赖，提出了原创的教育框架（“负责任AI开发的10大支柱”），并强调AI开发者需要接受关于AI系统如何实际整合到军事过程中的培训。 Sarah Logan（2024）强调了多位贡献者提及的一点，即情报分析在武力使用决策中的至关重要的作用。随着AI在此类分析中变得越来越重要，她预见到我们对大型语言模型（LLMs）的依赖所伴随的危险。具体而言，她警告生成式AI（或可用于创建新内容并依赖LLMs的算法）将加剧情报分析已经面临的信息“病理”：“信息稀缺”和“认识论稀缺”。她解释说，这些病理因训练LLMs的有限数据而加剧，并指出像澳大利亚这样的西方政府在获取此类数据方面面临着特别不利的限制。Karina Vold（2024）从Logan对AI工具作为有缺陷的信息提供者和选择性知识管理者的敏锐描述，转向AI工具作为直接增强人类认知能力的手段，更加乐观地回到AI系统在武力使用决策中提供的机会。具体而言，她赞扬了她所称的“人机认知团队合作”所带来的战略军事优势。虽然承认过度依赖AI系统对个体用户和更广泛的社会都带来风险（如其他贡献者所探讨的），Vold有价值地强调了算法决策支持系统在增强对国家层面武力使用决策特别重要的有限人类能力方面可以发挥的作用：包括记忆、注意力和搜索功能、规划、沟通、理解、定量和逻辑推理、导航，甚至（回到Holmes和Wheeler的观点）情感和自我控制。Osonde A. Osoba（2024）使用两个分析框架检验了AI在他称为“军事决策生态系统”中的整合：一个聚焦于个别AI系统技术特性的人工制品层面分析，和一个旨在突出AI使用更广泛制度影响的系统层面视角。参考Vold关于AI认知增强的概念，Osoba的人工制品层面分析强调了AI整合在增加他有趣地描述为决策过程中的“认知多样性”方面可能产生的积极影响。Osoba随后论证，负责武力使用决策的国家及其国家安全机构都符合复杂适应系统的特征。基于这一识别，他借鉴其他稳定复杂系统中观察到的动态，对围绕人类技能退化和算法透明度的担忧提出了一些怀疑性评估。 Neil Renic（2024）的观点与Zala的观察相呼应，即智能机器缺乏人类在武力使用决策中促进谨慎行使的关键能力——被怀疑的闪光所触动（或更恰当地说，受到约束）。Renic警告，如果我们继续允许机器渗透这一过程，我们的“悲剧想象力”将被削弱。Renic令人信服地论证，AI辅助决策的“速度、僵化性和虚假信心”可能会助长对他所识别的暴力悲剧特质——即其局限性和不可预测性——的麻木，以及对我们自身易错性的否认。因此，他认为决策的某些方面绝不能让渡给AI系统。Bianca Baggiarini（2024）以类似的警示结束了这一特刊，她检视了“算法理性”在武力使用决策背景下的潜在危险。她提出了强有力的论点，即那些承诺确定性和决策效率的技术实际上通过“不可见性、匿名性和碎片化”的实践模糊了我们所能看到和知道的内容。与Osoba对算法透明度呼吁的怀疑一致，她认为这些呼吁严重误导，并表达了对AI支持的武力使用决策与民主合法性不相容的担忧。  本特刊的贡献者并不总是意见一致。他们对各国预期依赖AI系统进行武力使用决策所伴随的益处或风险得出不同结论。他们对这一发展应采取的乐观或悲观程度存在差异。此外，他们关注AI将渗透这些审议过程的不同点，并解决这可能产生影响的各种情境。尽管如此，本特刊中的文章相互呼应，并共同致力于理解战争决策中一个重要且（我们认为）不可避免的变化。每篇文章都代表了一个从这一重要、持续对话中汇集的多样化视角中学习的过程。我们希望这一特刊能够促进参与、反思、辩论和进一步研究。 词汇积累 resort-to-force decision making 诉诸武力决策 AI-driven decision-support systems AI驱动决策支持系统 meaningful human control 有意义的人类控制 proxy responsibility 代理责任 security dilemma sensibility 安全困境敏感性 译者：丁伟航，国政学人编译员，上海理工大学讲师。 校对 | 秦子宁 审核 | 丁伟航排版 | 周彦孜 本文为公益分享，服务于科研教学，不代表本平台观点。如有疏漏，欢迎指正。  |
|
|
