分享

美国联邦机构人工智能应用政策:治理、创新和风险管理 (全译文)

 小飞侠cawdbof0 2024-05-14 发布于北京

推进机构使用人工智能的治理、创新和风险管理 Advancing Governance, Innovation, and Risk Management for Agency Use of Artificial Intelligence

行政办公室
管理和预算办公室 (OMB)
华盛顿特区 20503
主任
2024年3月28日
M-24-10
备忘录致各执行部门及机构负责人

EXECUTIVE OFFICE OF THE PRESIDENT
OFFICE OF MANAGEMENT AND BUDGET
WASHINGTON, D.C. 20503
THE  DIRECTOR
March 28, 2024
M-24-10
MEMORANDUM FOR THE HEADS OF EXECUTIVE DEPARTMENTS AND AGENCIES

图片

来自:Shalanda D. Young
主题:推进机构使用人工智能的治理、创新和风险管理
人工智能(AI)是我们这个时代最强大的技术之一,总统明确表示,我们必须抓住 AI 呈现的机遇,同时管理其风险。本备忘录根据 2020 年的《政府人工智能法案》,《推进美国人工智能法案》,以及关于人工智能安全、安全和可信发展与使用的行政命令 14110,指示各机构推进 AI 治理和创新,同时管理联邦政府使用 AI 的风险,特别是那些影响公众权利和安全的风险。

1. 概述

虽然 AI 正在改善联邦政府的运营和服务交付,但各机构必须有效管理其使用。因此,本备忘录为机构建立了新的要求和指导方针,以进行 AI 治理、创新和风险管理,包括通过特定的最低风险管理实践,针对影响公众权利和安全的 AI 使用。

加强 AI 治理。管理 AI 风险和促进 AI 创新 需要有效的 AI 管理。根据行政命令 14110 的要求,每个机构必须在本通知发布之日起 60 天内指定一位首席 AI 官员(CAIO)。本备忘录描述了机构 CAIO 的角色、职责、资历、职位和汇报结构,包括通过机构 AI 用例库的扩展汇报。因为 AI 与数据、信息技术(IT)、安全、隐私、民权和公民自由、客户体验、人力资源管理等其他技术和政策领域密切相关,CAIOs 必须与其机构内已有的责任官员和组织密切协调。

推进负责任的 AI 创新。在适当的保障措施到位的情况下,AI 可以成为现代化机构运作和提升联邦政府对公众服务的有用工具。为此,各机构必须增加它们负责任采纳 AI 的能力,包括生成式 AI,并采取步骤以促进 AI 模型、代码和数据的共享与重用。此备忘录要求在首席财务官法案(CFO 法案)4中识别的每个机构发展一个企业策略,关于它们将如何推进 AI 的负责任使用。此备忘录还为各机构应如何减少负责任使用 AI 的障碍提供建议,包括与 IT 基础设施、数据、网络安全、劳动力相关的障碍,以及生成式 AI 的特定挑战。

管理使用人工智能的风险。尽管机构将从人工智能中获得重大好处,但它们也必须管理来自使用人工智能的一系列风险。机构受到与人工智能相关的现有风险管理要求的约束,本备忘录并不替代或取代这些要求。相反,它建立了新的要求和建议,这些要求和建议,无论是独立地还是集体地,都解决了依赖人工智能来通知或执行机构决策和行动的特定风险,特别是当这种依赖影响公众的权利和安全时。为了解决这些风险,本备忘录要求机构在使用影响安全的人工智能和影响权利的人工智能时遵循最低实践,并列举了被认为影响权利和安全的人工智能的特定类别。最后,本备忘录还为联邦采购中管理人工智能风险建立了一系列建议。

2. 范围

机构采用人工智能提出了许多挑战,一些是新颖的并且特定于人工智能,一些则是众所周知的。虽然机构必须对人工智能的所有方面给予适当的关注,但本备忘录的范围更狭窄,旨在解决一部分人工智能风险,以及与机构使用人工智能直接相关的治理和创新问题。本备忘录中讨论的风险结果自任何依赖人工智能输出来通知、影响、决定或执行机构决策或行动,这可能会破坏此类决策或行动的有效性、安全性、公平性、透明度、问责性、适当性或合法性。

本备忘录并未涉及无论是使用人工智能还是任何其他软件都存在的问题,例如关于联邦信息和信息系统的总体问题。此外,本备忘录不取代其他更通用的适用于人工智能但并非特别针对人工智能的联邦政策,例如与企业风险管理、信息资源管理、隐私、可访问性、联邦统计活动、IT 或网络安全相关的政策。

机构必须继续遵守适用于人工智能其他领域的 OMB 政策,并与机构内所有适当官员协调一致以确保合规。所有机构负责人保留他们在其他法律和政策中建立的现有权限和责任。

a. 适用机构。除特别注明外,本备忘录适用于所有在 44 U.S.C. § 3502 (1)^7 中定义的机构。7 如相关章节所述,本备忘录中的一些要求仅适用于在 31 U.S.C. § 901(b) 中确定的首席财务官法案(CFO Act)机构,而其他要求不适用于在 50 U.S.C. § 3003 中定义的情报界的元素。

b. 涵盖的 AI。本备忘录提供了要求和建议,如下面更详细描述的,适用于由涵盖的机构或代表涵盖的机构开发、使用或采购的新的和现有的 AI 。相比之下,本备忘录不管辖:

  • i. 机构的监管行为,旨在规定非机构使用 AI 的法律或政策;
  • ii. 机构对特定人工智能应用的评估,因为人工智能提供商是监管执行、执法或国家安全行动的目标或潜在目标^8;
  • iii. 机构开发用于测试和衡量人工智能的指标、方法和标准,其中这些指标、方法和标准是供公众或整个政府使用的,而不是为了测试某个特定机构应用的人工智能^9;或
  • iv. 机构使用人工智能进行基础研究或应用研究,除非此类研究的目的是在机构内部开发特定的人工智能应用。

本备忘录的要求和建议适用于实现或依赖人工智能的系统功能,而不是使用人工智能的整个信息系统。如相关部分所述,本备忘录中的某些要求仅在特定情况下适用,即机构使用人工智能时,例如当人工智能可能影响权利或安全时。

c. 适用于国家安全系统。本备忘录不涵盖当人工智能被用作国家安全系统组成部分时的情况。^10

3. 加强人工智能治理

每个受此指导的机构的负责人负责追求人工智能创新,并确保他们的机构遵守相关法律和政策中的人工智能要求,包括要求妥善管理机构使用人工智能的风险。这需要一个强有力的治理结构,鼓励机构战略性地利用他们的政策、项目、研究与评估及规章职能,以支持本备忘录要求和建议的实施。每个受此指导的机构的负责人还必须考虑实施所需的财政、人力、信息和基础设施资源,根据需要通过预算过程优先考虑当前资源或请求额外资源,以支持本备忘录中确定的职责。

为了提高对人工智能问题的问责性,机构必须按照行政命令 14110 的第 10.1(b) 条指定一名首席人工智能官(CAIO)。CAIOs 主要负责代表其机构负责人实施本备忘录并与其他机构协调实施。本节定义了 CAIOs 的角色、职责、级别、职位和汇报结构。

a. 行动

  • i. 指派首席人工智能官 CAIO。自本通知发布之日起 60 天内,每个机构的负责人必须指派一名 CAIO。为确保 CAIO 能够履行本通知中列出的职责,已经指派过 CAIO 的机构必须评估是否需要赋予该个体额外的权力或指派新的 CAIO。各机构必须通过 OMB 的综合数据收集过程或 OMB 指定的后继过程向 OMB 报告这些官员。当指定个人变更或该职位空缺时,机构必须在 30 天内通知 OMB。

  • ii. 召集机构人工智能治理机构。自本通知发出之日起 60 天内,每个 CFO 法案机构必须召集其相关的高级官员,以协调和管理联邦政府内部人工智能使用相关的问题,符合行政命令 14110 第 10.1(b) 条和本通知第 3(c) 部分的详细指导。

  • iii. 合规计划。根据 2020 年《政府中的人工智能法案》第 104(c) 条和 (d) 条的规定,在本备忘录或其任何更新发布后的 180 天内,以及此后每两年直至 2036 年,每个机构都必须向 OMB 提交并在机构的网站上公开发布以下内容之一:一个计划,以实现与本备忘录的一致性;或者一项书面决定,表明该机构不使用且预计不会使用所涵盖的人工智能。机构还必须包括更新任何现有内部人工智能原则和指南的计划,以确保与本备忘录的一致性^11。OMB 将提供这些合规计划的模板。

  • iv. 人工智能用例清单。各机构(国防部和情报界除外)必须至少每年对其所有人工智能用例进行一次清点,将清单提交给 OMB,并在该机构的网站上发布一个公开版本。OMB 将通过其综合数据收集流程或由 OMB 指定的后续流程,发布清单及其范围的详细指导。从 2024 年的用例清单开始,各机构将被要求(如适用)识别哪些用例是影响安全和权利的人工智能,并就这些用例带来的风险(包括不公平结果的风险)及机构如何管理这些风险报告更多细节。

  • v. 报告不受清单规定的 AI 应用案例。某些 AI 应用案例不需要单独进行库存记录,例如国防部门的应用案例,或者那些与现行法律和政府广泛政策不一致而无法共享的案例。机构必须每年报告并发布这些本应在本备忘录范围内的应用案例的综合指标,这些案例影响的权利和安全的数量,以及它们对本备忘录第5(c)节实践的遵守情况。OMB 将通过其综合数据收集流程或由 OMB 指定的后继流程,发布这一报告的详细指令。

b. 人工智能首席执行官的角色、职责、级别、职位及汇报结构

根据行政命令 14110 第 10.1(b)(ii) 条,本备忘录如下定义 CAIOs 的角色、职责、级别、职位及汇报结构:

  • i. 角色。CAIOs 必须具备执行本节所述职责所需的技能、知识、培训和专业知识。在 CFO Act 机构中,CAIO 的一个主要角色必须是为其机构特定使用 AI 的协调、创新和风险管理,而非一般的数据或 IT 问题。机构可以选择指定现有官员,如首席信息官 (CIO)、首席数据官 (CDO)、首席技术官或具有相关或互补权限和责任的类似官员,前提是他们在 AI 方面拥有显著专业知识并满足本节中的其他要求。

  • ii. 职责。行政命令 14110 赋予 CAIOs 在其机构中的首要责任,在与其他负责官员协调的情况下,负责协调其机构对人工智能的使用,促进人工智能创新,管理使用人工智能的风险,并执行行政命令第 8 节 (c) 中定义的机构责任 1396012 以及行政命令第 4 节 (b) 中的 14091.13。此外,CAIOs 还需与其他负责官员及适当利益相关者协调,负责:

    • O. 管理一个支持企业识别并管理来自使用 AI 的风险的机构计划,特别是对安全影响和权利影响的 AI;
    • P. 与相关高级机构官员合作,建立或更新过程,以衡量、监控和评估机构 AI 应用的持续性能和有效性,以及 AI 是否促进了机构的使命并达到了绩效目标;
    • Q. 监督各机构遵守管理使用 AI 引起风险的要求,包括本备忘录以及相关法律和政策中确立的要求;
    • R. 必要时对机构的人工智能应用程序进行风险评估,以确保符合本备忘录的要求;
    • S. 与相关机构官员合作,根据机构的使命开发补充人工智能风险管理指南,包括与负责隐私、公民权利和公民自由的官员协调合作,以识别机构内可能影响安全和权利的人工智能;
    • T. 通过该部分详述的流程,免除对人工智能个别应用适用本备忘录第 5 节的各项要求;以及
    • U. 与相关机构官员(例如,授权、采购、法律、数据治理、人力资本和监督官员)合作,建立控制措施以确保其机构不使用不符合本备忘录要求的人工智能,包括协助这些相关机构官员基于人工智能使用的风险评估授权操作。
    • K. 与他们的机构合作,识别和优先考虑将推进其机构使命以及公平结果的适当 AI 应用;
    • L. 确定并消除机构中负责任使用人工智能的障碍,包括通过推进支持人工智能的企业基础设施、数据访问与管理、劳动力发展措施、政策以及其他人工智能创新资源;
    • M. 与其机构的 CIO 、 CDO 以及其他相关官员合作,确保自定义开发的 AI 代码和用于开发及测试 AI 的数据根据本备忘录第 4(d) 节的规定,适当地在机构代码和数据仓库中进行清点、共享和发布;
    • N. 在其机构内部以及对公众宣传人工智能对机构使命的机遇和益处;
    • A. 担任机构负责人及其他高级机构领导的人工智能高级顾问,并参与其机构的高级决策论坛;
    • B. 通过与相关机构官员协调,建立必要的治理和监督流程,以实现与本通知的遵从,并在机构中负责任地使用人工智能;
    • C. 保持对机构人工智能活动的了解,包括通过创建和维护年度人工智能用例库;
    • D. 根据本备忘录第 3(a)(iii) 节和第 4(a) 节的详细说明,制定符合本备忘录要求的计划和一个机构人工智能策略;
    • E. 与机构 CFO 合作并就实施本备忘录所需的资源要求提供建议,并对优先投资领域提出建议,以增强现有企业能力;
    • F. 向首席人力资本官员(CHCO)提供建议,以及在适用的情况下,向首席学习官提供建议,关于提升工作人员能力以及获取和维护使用人工智能以进一步推动机构使命并妥善管理其风险所需的技能集;
    • G. 将相关信息共享给参与机构主要 AI 政策制定倡议的机构官员;
    • H. 支持机构参与与其机构的人工智能活动相关的适当的跨机构协调机构,包括在行政命令 14110 第 10.1(a) 节描述的委员会上代表该机构;
    • I. 支持并协调其机构参与人工智能标准制定机构,适时鼓励机构采用自愿共识标准的人工智能,如适用且符合 OMB 循环令号 A-119;
    • J. 在机构的 AI 治理结构中促进公平和包容性,将多元化视角融入决策过程中;
    • 协调机构使用人工智能

    • 推进 AI 创新

    • 管理来自使用 AI 的风险

  • iii. 资历。对于 CFO 法案机构,CAIO 必须是高级执行服务、科学与专业或高级领导职务,或等同职位。在其他机构,CAIO 至少必须是 GS-15 或同等级别。

  • iv. 职位和报告结构。首席人工智能官(CAIOs)必须拥有执行本节职责所需的必要权限,并且必须位于足够高的位置,以便定期与其他机构领导进行交流,包括副部长或同等职位。此外,CAIOs 必须与其机构的其他负责官员协调,以确保该机构使用 AI 符合并且适当地遵循适用法律和政府范围指导。

c. 内部机构人工智能协调

机构必须确保人工智能问题得到机构高级领导的充分关注。根据行政命令 14110 第 10.1(b) 节的规定,机构必须采取适当措施,例如通过召集人工智能治理机构,来在负责人工智能采用和风险管理各个方面的官员之间进行内部协调。

同样,CAIO 必须在适当的时候参与更广泛的机构范围内的风险管理机构和流程,包括参与制定机构风险管理策略。机构的 AI 协调机制应该根据机构的需求进行调整,例如,基于机构当前使用 AI 的程度、AI 可能提升机构使命的程度,以及机构当前和潜在使用 AI 所带来的风险。

根据《首席财务官法案》的要求,每个机构都必须成立一个人工智能治理委员会,以召集相关高级官员来管理机构对人工智能的使用,包括消除使用人工智能的障碍和管理其相关风险。这些机构被允许依赖现有的治理机构17来满足这一要求,只要它们目前满足或被使满足以下两个条件:

  • i. 机构的人工智能治理委员会必须由机构的副秘书长或同等职务的人担任主席,并由机构的 CAIO 担任副主席,这些角色不应分配给其他官员。整个委员会,包括副秘书长,必须至少每半年召开一次会议。通过这个委员会,CAIOs 将支持他们各自的副秘书长在机构内部协调人工智能活动并执行《行政命令 14110》的相关章节。

  • ii. 机构人工智能治理委员会必须包括来自负责关键人工智能采用和风险管理的高级机构官员的适当代表,包括至少信息技术、网络安全、数据、隐私、民权与公民自由、公平、统计、人力资本、采购、预算、法律、机构管理、客户体验、项目评估、以及负责在机构的项目办公室内实施人工智能的官员。机构还应考虑包括来自其相应的监察长办公室的代表。

鼓励各机构在适当的情况下且符合适用法律的前提下,让其人工智能治理委员会咨询外部专家。专家的个人观点可以帮助扩展现有治理委员会的视角,并注入额外的技术、伦理、民权和公民自由,或特定领域的专业知识,以及吸引员工参与的方法。

4. 推动负责任的人工智能创新

如果负责任地实施,人工智能可以改善联邦政府的运营并提供全面的效率。各机构必须提高使用人工智能的能力,以确保为公众带来好处,并增加使命的有效性,同时认识到人工智能的限制和风险,以及何时不适合执行特定任务。特别是,鼓励各机构优先考虑人工智能的开发和采用,以促进公共利益,尤其是在技术可以帮助理解和应对大型社会挑战的领域,例如使用人工智能改善政府服务的可访问性,减少食品不安全,解决气候危机,改善公共健康,推动公平结果,保护民主和人权,以及以惠及美国全国人民的方式增长经济竞争力。

为了达到这个目标,机构应该在现有的内部企业能力上建立,以支持负责任的 AI 创新,采取行动加强他们的 AI 和 AI -使能人才,并提高他们开发和采购 AI 的能力。机构应该探索共同努力以扩大这些机会,以及采取措施负责任地分享他们的 AI 资源,跨越联邦政府并与公众分享。

a. 人工智能策略

自本备忘录发布之日起 365 天内,每个 CFO 法案机构必须在机构的网站上公开制定并发布一项策略,用于识别并消除 使用人工智能的障碍,以及实现在人工智能成熟度方面的企业级改进,包括:

  • i. 机构当前和计划中使用的对机构使命或服务交付最具影响力的人工智能;
  • ii. 机构当前人工智能成熟度的评估以及机构的人工智能成熟度目标;
  • iii. 该机构有效管理其人工智能使用的计划,包括通过其首席人工智能官员、人工智能治理委员会以及对其人工智能用例清单的改进;
  • iv. 一个为 AI 创新开发足够企业能力的计划,包括成熟的 AI 启用基础设施,用于数据、计算、开发、测试、网络安全合规、部署和必要的连续监控基础设施,以构建、测试和维护 AI;
  • v. 为提供足够的人工智能工具和能力以支持该机构的研究与发展(R&D)工作提供一个计划,该计划与 OMB 开发的 R&D 优先事项、科学与技术政策办公室、国家人工智能 R&D 战略计划和特定于机构的 R&D 计划一致;
  • vi. 制定运营和治理流程的计划,以及开发必要的基础设施,以管理来自使用 AI 的风险;
  • vii. 机构当前人工智能及其启用人力资源能力的评估,以及预测的人工智能及其启用人力资源需求,以及招聘、雇佣、培训、保留和授权人工智能从业者的计划,以及实现非从业者参与人工智能的人工智能素养,以满足这些需求;
  • viii. 该机构鼓励在 AI 开发或采购生命周期中贯穿多元视角的计划,包括如何确定特定 AI 使用是否满足机构的公平目标和民权承诺;
  • ix. 特定的、优先的领域和规划未来 AI 投资,适时利用年度预算过程。

b. 消除对 AI 负责任使用的障碍

拥抱创新需要消除对 AI 使用不必要和无益的障碍,同时保留并加强确保其负责任使用的防护措施。机构应创建内部环境,在这些环境中,那些开发和部署 AI 的人有足够的灵活性,有限的 AI 资源和专业知识不会被转移 away from AI 创新和风险管理。机构应采取措施消除对负责任使用 AI 的障碍,特别关注以下建议:

  • i. IT 基础设施。机构应确保其 AI 项目能够访问到足够的 IT 基础设施,包括必要时专门用于 AI 训练和推理的高性能计算基础设施。机构还应确保 AI 开发者能够充分访问软件工具、开源库以及部署和监控能力,这些都是快速开发、测试和维护 AI 应用所必需的。

  • ii. 数据。机构应发展足够的基础设施和能力,以充分共享、管理和治理机构数据,用于训练、测试和操作人工智能。这包括机构利用内部持有数据和第三方管理的机构数据的能力,最大限度地提高适当的访问和共享。机构还应探索利用公开可用信息的可能效用及其支持的法律权限,并在适当及符合本备忘录概述的数据实践时鼓励使用。无论数据来源如何,用于帮助开发、测试或维护人工智能应用的任何数据都应评估其质量、代表性和偏见。这些活动应由资源支持,以实现可靠的数据治理和管理实践,尤其是与数据收集、管理、标注和管理相关的实践。

  • iii. 网络安全。机构应根据需要更新信息系统授权和持续监控的流程,以更好地满足人工智能应用的需求,包括推进对人工智能的持续授权使用。与行政命令 14110 第 10.1(f) 节一致,鼓励授权官员优先审查生成式人工智能和其他关键及新兴技术在运营授权以及任何其他适用的发布或监管流程中的使用。

  • iv. 生成式人工智能。除了遵循行政命令 14110 第 10.1(f)节提供的指导外,机构应评估生成式人工智能在其任务中可能的有益用途,并建立足够的安全保障和监督机制,允许在不构成过度风险的情况下在机构中使用生成式人工智能。

c. 人工智能人才

根据行政命令 14110 的第 10.2 节,强烈鼓励各机构优先考虑在人工智能(AI)及支持 AI 的角色中招聘、雇用、培养和保留人才,以增加负责任的 AI 创新的企业能力。各机构应该:

  • i. 遵循由人事管理办公室(OPM)创建的即将发布的 AI 和技术招聘手册中描述的招聘实践,包括鼓励具有多元视角的个人申请,充分利用可用的招聘和留人权限,并使用描述性职位名称和基于技能的评估;

  • ii. 指定一名 AI 人才负责人,至少在 AI 人才任务小组活动期间,负责向机构领导汇报,追踪该机构的 AI 招聘情况,并向人力资源管理办公室(OPM)和管理和预算办公室(OMB)提供招聘需求和进展数据。根据行政命令 14110 第 10.2(b) 节设立的 AI 人才任务小组,将为 AI 人才负责人提供参与机会,以增强他们的 AI 招聘实践,并通过跨机构合作推动影响力,包括共享职位描述、协调市场营销和外展活动、共同招聘行动,以及在适当的情况下,跨机构共享申请人信息;及

  • iii. 在适用的情况下,与联邦员工及其工会代表协商,提供资源和培训,以内部发展 AI 人才并增加联邦员工的 AI 培训机会,包括为联邦员工提供通向 AI 职业的途径,以及协助受 AI 应用影响的员工。

d. 人工智能的共享与合作

开放、共享以及人工智能的重复使用显著增强了创新和透明度,同时也必须负责任地进行,以避免侵犯公众的权利、安全和安全性。机构必须共享它们的人工智能代码、模型和数据,并以促进政府范围内和与公众的重新使用和合作的方式进行,须遵守适用法律、政府范围的指导以及以下考虑:

  • i. 共享和发布人工智能代码与模型。机构必须主动分享它们为人工智能应用自主开发的代码——包括模型和模型权重——正在积极使用中,并且必须在公共仓库上作为开源软件发布并维护那些代码,除非:
    • A. 法律或法规限制共享代码,包括专利或知识产权法、出口资产规定、国际武器贸易规则,以及联邦法律和规定对分类信息的管辖;
    • B. 代码共享将会对国家安全、政府信息的保密性、个人隐私、公众的权利或安全造成可识别的风险;
    • C. 机构因合同义务而无法这样做;
    • D. 代码分享将对机构的任务、计划或操作造成可识别的风险,或对机构的系统或人员的稳定性、安全性或完整性造成风险。

机构应优先共享自定义开发的代码,例如常用的包或函数,这些代码对其他机构或公众的再利用潜力最大。

  • ii. 分享与发布人工智能数据资产。用于开发和测试人工智能的数据很可能构成实现开放、公共、电子目的的“数据资产”。以及必要的(OPEN)政府数据法案,以及根据该法案要求和行政命令 14110 第 4.7 节中的安全考虑,机构必须将此类数据资产作为开放政府数据资产公开发布^23。在共享人工智能数据资产时,机构应促进数据互操作性,包括通过在内部以及与其他相关机构就互操作性标准进行协调,并在可行且适当时使用标准化数据格式。
  • iii. 部分共享和发布。根据本节的第 (i) 和第 (ii) 小节,如果某个人工智能项目的代码、模型或数据的某部分不能公开共享或发布,那么在实际可行的情况下,其余部分仍应该被共享或发布,例如通过发布用于评估模型的数据,即使模型本身不能安全发布,或者即使模型不能公开发布,也在联邦政府内部共享模型。如果代码、模型或数据在没有限制谁可以访问的情况下不能发布,那么在实际可行的情况下,各机构也应通过联邦控制的基础设施共享它们,该基础设施允许联邦政府外的实体控制访问,例如通过国家人工智能研究资源。

  • iv. 采购用于共享和发布的人工智能。当采购定制开发的人工智能代码、用于训练和测试人工智能的数据,以及对现有数据的增强(例如标签服务)时,鼓励机构以能够共享和公开发布相关代码、模型和数据的方式进行。

  • v. 人工智能模型数据的意外泄露。当机构在决定是否共享和发布人工智能模型及其权重时,应评估模型被诱导泄露用于开发它们的数据的敏感细节的风险。机构的风险评估应包括特定模型的风险分析。^24

e. 人工智能要求的协调

以一致的方式解释和实施人工智能管理要求跨联邦机构将创造效率以及共享资源和最佳实践的机会。为了协助这一努力,并与行政命令 14110 的第 10.1(a) 条一致,OMB 与科学和技术政策办公室合作,将协调联邦机构通过一个跨机构委员会在机构的项目和运营中开发和使用 AI — 包括实施本备忘录 — 跨联邦机构。

这将至少包括:

  • i. 推广共享的模板和格式;

  • ii. 分享最佳实践和经验教训,包括在 AI 开发中实现受影响社区和公众的有意义参与,以及采购、更新组织流程以更好地适应 人工智能、移除阻碍负责任的 人工智能 创新的障碍、响应可能对个人造成伤害的 人工智能 事件,以及建立一个多样化的 人工智能 劳动力队伍以满足机构的需求;

  • iii. 分享技术资源以实施本备忘录的风险管理实践,例如用于测试、持续监测和评估;及

  • iv. 强调示范性的人工智能应用以供机构采纳,特别是那些有助于解决重大社会挑战的应用。

5. 管理人工智能使用中的风险

各机构都有一系列政策、程序和官员来管理与机构信息和系统相关的风险。为了更好地应对人工智能使用中的风险,尤其是对公众权利和安全的风险,所有机构都必须实施最低实践,如下所详述,以管理对安全产生影响的人工智能和对权利产生影响的人工智能的风险。^25 然而,本备忘录的第5条(a)至(c)节不适用于情报界的元素。^26

a. 行动

  • i. 实施风险管理实践和终止不合规的人工智能。到2024年12月1日,机构必须实施本备忘录第5(c)节中的最低实践,针对影响安全和影响权利的人工智能,否则,就必须停止使用不符合最低实践的人工智能在其操作中,与该节中的详情和警告一致。

  • ii. 认证与公布决定及豁免。到 2024 年 12 月 1 日,以及此后每年,每个机构必须认证根据本节 (b) 款所作出的决定和根据 (c) 款授予的豁免的持续有效性。在法律和全政府政策允许的范围内,机构必须公开发布一份摘要,详细说明每项个别决定和豁免及其理由。或者,如果机构没有活动中的决定或豁免,它必须公开指出这一事实并向 OMB 报告。OMB 将通过其集成数据收集过程或 OMB 指定的后续过程,发布这些摘要的详细指导。

b. 确定哪些人工智能被认为可能影响安全或影响权利

所有符合第 6 节定义的“影响安全的人工智能”或“影响权利的人工智能”的人工智能,必须按照第 5 节 (c) 中的最低实践要求,在适用的截止日期之前遵守。各机构必须审查每一项当前或计划中使用的人工智能,以评估它是否符合影响安全的人工智能或影响权利的人工智能的定义。进行此类评估时,如本备忘录第 6 节对影响安全的人工智能和影响权利的人工智能的定义所反映,机构必须考虑特定的人工智能输出是否作为决策或行动的主要依据。

此外,用于附件 I 中识别的某一目的的 AI 自动 被假定 为影响安全或影响权利的。然而,机构 CAIO,在与其他相关官员协调后,可以确定(或重新审视之前的决定)特定的 AI 应用或组件^27根据这一假设并不符合“影响安全的 AI”或“影响权利的 AI”的定义,因此不受最低实践的约束。机构 CAIO 只能在有文件记录的、特定于上下文和特定于系统的风险评估的情况下,作出或重新审视这样的决定,并且可以随时重新审视之前的决定。这一责任不得委派给其他官员。除了本通知第 5 条(a)(ii)节中的认证和发布要求外,CAIOs 必须中央跟踪这些决定,如果 AI 使用的条件或上下文发生重大变化,重新评估它们,并在作出或改变决定后 30 天内向 OMB 报告,详细说明范围、理由和支持证据。

c. 影响安全与权利的人工智能最低操作规范

除非适用法律和政府范围内的指导禁止,各机构必须在 2024 年 12 月 1 日之前,对影响安全和权利的人工智能应用本节的最低风险管理实践,否则必须停止使用该人工智能,直到它们达到合规状态。

在 2024 年 12 月 1 日之前,机构 CAIO 应与其机构的相关官员合作,使潜在的不合规 AI 符合规定,这可能包括请求第三方供应商自愿采取适当行动(例如,通过更新文档或测试措施)。为确保遵守此要求,相关机构官员必须尽可能使用现有机制(例如,操作授权过程)。^28 机构还可以通过其 CAIO 请求延期或通过下面详述的过程授予此要求的豁免。

机构必须记录他们实施这些实践的过程,并准备好向 OMB 报告,这可以作为年度 AI 用例清单的一部分、定期责任审查,或根据 OMB 的要求进行报告。

本节中的实践代表了一个初始基线,用于管理使用人工智能 (AI) 所带来的风险。各机构必须识别与其使用人工智能相关的额外具体背景风险,并酌情解决它们。这些风险考虑可能包括对安全、安保、民权、民主自由、隐私、民主价值观、人权、平等机会、工人福祉、获取关键资源和服务的通道、机构信任和可信度、以及市场竞争的影响。为了解决这些潜在的风险管理缺口,鼓励各机构适当促进和纳入额外的人工智能风险管理最佳实践,例如来自国家标准与技术研究院 (NIST) 人工智能风险管理框架,^29 人工智能权利法案蓝图,^30 相关国际标准,^31 以及根据行政命令 14110 第 6(b)(i) 节建立的针对雇主的工作力原则和最佳实践。同样鼓励各机构继续开发其自己的机构特定实践,视情况而定,且需与本备忘录和行政命令 13960、行政命令 14091 和行政命令 14110 中的原则保持一致。

本节中的实践同样不取代、修改或指导对现有法律或政府范围政策规定的解释,负责的机构官员必须协调以确保采用这些实践不与其他适用的法律或政府范围指南发生冲突。

  • i. 最低做法的排除。仅当使用人工智能(AI)来完成以下目的时,机构不需要遵循本节概述的最低做法:

    • A. 评估潜在的供应商、商业能力或者非机构运营中使用的免费可用 AI 能力,仅用于做出采购或获取决策;
    • B. 达到本节要求的一致,例如在受控测试条件下使用 AI 应用程序来执行以下的最低测试要求。^32
  • ii. 最低做法的延期。机构可以向 OMB 请求最长一年的延期,对于那些到期日内无法切实满足本节最低要求的特定 AI 使用。OMB 不会批准超出最初一年延期的续期。任何延期请求应在 2024 年 10 月 15 日之前提交。请求必须附上详细的证明,解释该机构为何无法达成对所涉及人工智能使用的合规性,以及该机构采取了什么实践为缓解不合规的风险,以及机构将如何开始实施本节要求的全部最低实践标准,需制定相应措施和计划。OMB 将通过其综合数据收集过程或一个 OMB 指定的后继过程,发布延期请求的详细指导。

  • iii. 免除最低实践要求。在与其他相关官员协调后,机构 CAIO 可以在做出书面决定的基础上,针对特定受覆盖的 AI 应用程序或组件^33免除本节中的一个或多个要求,该决定基于针对系统特定和上下文特定的风险评估,认为满足该要求将会整体增加安全或权利方面的风险,或将创造出对关键机构操作的不可接受的障碍。机构 CAIO 也可以随时撤销之前颁发的豁免。此职责不得委派给其他官员。除了本备忘录第 5(a)(ii) 节中的认证和发布要求外,CAIOs 必须集中追踪豁免,如果 AI 使用的条件或上下文发生重大变化,则重新评估这些豁免,并在授予或撤销任何豁免的 30 天内向 OMB 报告,详细说明范围、理由和支持证据。
  • iv. 对于影响安全或权利的 AI,最低实践标准。不迟于 2024年12月1日,各机构在使用新的或现有的涉及安全影响或权利影响的人工智能( AI )之前,必须遵循以下实践:
    • a. 数据收集和准备过程,这也必须包括用于训练、微调或操作人工智能的任何数据的来源。
    • b. 数据的质量^36和代表性^37对于其预期目的;
    • c. 数据如何与被自动化的任务相关,以及合理地期望这些数据对于 AI 的开发、测试和运行有用;
    • d. 数据是否包含足够的广度以应对人工智能可能遇到的现实世界输入范围,以及数据缺口和不足是如何被机构或供应商解决的;以及
    • e. 如果数据由联邦政府维护,该数据是否可以作为一个开放政府数据资产公开披露,符合适用法律和政策。38
    • A. 完成 AI 影响评估。机构应定期更新其影响评估,并在 AI 的整个生命周期内利用它们。在其影响评估中,机构至少必须记录以下内容:

    • B. 在现实世界环境中测试人工智能的表现。机构必须进行足够的测试,以确保人工智能及依赖它的组件将在其预期的现实世界环境中工作。这种测试应当遵循特定领域的最佳实践(如果有的话),并且应当考虑到所使用的具体技术以及来自人类操作员、审查者、员工等的反馈,以及使用该服务的客户或受系统结果影响的客户。测试条件应尽可能地反映人工智能将要部署的环境。通过测试结果,机构应证明人工智能将实现其预期的效益,且相关风险将被充分降低,否则该机构不应使用该人工智能。在进行此类测试时,如果机构无法访问底层的源代码、模型或数据,则必须使用替代测试方法,如查询人工智能服务并观察输出,或向供应商提供评估数据并获取结果。还鼓励机构利用试点和有限发布,在强有力的监控、评估和保障措施到位的情况下,执行测试的最后阶段,然后再进行更广泛的发布。

    • C. 独立评估人工智能。机构通过 CAIO 、一个机构人工智能监督委员会或具有现有测试和评估责任的其他适当机构办公室,必须审查相关人工智能文档,以确保系统正常工作且按预期运行,且其预期的好处超过潜在的风险。至少,这些文档必须包括完成的影响评估和在现实世界背景下测试人工智能性能的结果,如本小节的段落(A)和(B)所引用的。机构必须将这种独立评估纳入适用的发布或监督流程,如操作授权流程。独立审查机构不得直接参与系统的开发。

    1. AI 的预定目的及其预期的效益,通过特定指标或定性分析支持。指标应为量化的正面结果指标,用于机构使命——例如减少成本、客户等待时间或对人类生命的风险——在 AI 部署后,可以使用绩效测量或项目评估方法来衡量^34,以证明使用 AI 的价值。在无法量化的情况下,定性分析应证明预期的正面结果,例如对客户体验的改进,并且它应证明 AI 更适合完成相关任务,与其他策略相比。
    2. 使用 人工智能 的潜在风险,以及除了这些最低实践之外,机构将采取哪些额外的缓解措施来帮助减少这些风险。机构应记录将会受到系统使用影响最大的利益相关者^35,并评估人工智能及更广泛系统的可能故障模式,无论是独立存在还是由于人类用户及其他可能的系统外变量所导致的。机构应特别关注对弱势群体可能产生的潜在风险。应该将人工智能功能的预期益处与其潜在风险进行对比,如果益处无法显著超过风险,机构则不应使用该人工智能。
    3. 相关数据的质量和适宜性。机构必须评估用于人工智能设计、开发、训练、测试和操作中的数据质量及其适应人工智能预期目的的程度。在进行评估时,如果机构在合理努力下仍无法获得此类数据,则必须从供应商(例如,人工智能或数据提供者)那里获得足够的描述性信息,以满足本段中的报告要求。至少,机构必须记录:
  • _ 不迟于 2024 年 12 月 1 日,并且在使用新的或现有的涉及安全或权利影响的 AI 时持续进行,机构必须确保遵循以下针对 AI 的实践:
    • D. 进行持续监控。除了部署前的测试外,机构必须建立持续的程序来监控 AI 功能的退化以及检测 AI 对权利和安全影响的变化。机构还应在可能的情况下逐步扩大使用新的或更新的 AI 功能,以提供足够的时间监控不良性能或结果。机构应监控并保护 AI 免受特定于 AI 的漏洞攻击,^39特别是那些可能对权利和安全产生负面影响的攻击。

    • E. 定期评估使用 AI 的风险。第(D)段中的监控过程必须包括定期的人工审核,以确定部署环境、风险、利益和机构需求是否发生了变化。^40机构还必须确定当前实施的备忘录最小实践是否充分缓解了新的和现有的风险,或者是否需要更新的风险应对选项。至少必须每年进行至少一次人工审核,并在对 AI 或 AI 使用的条件或环境进行重大修改后进行审核,审核必须包括在现实世界环境中对 AI 性能的重新测试。^41审核还必须包括由一个未直接参与系统开发或运营的适当内部机构权威的监督和考虑。

    • F. 减轻新出现的对权利和安全的风险。在通过持续监测、定期审查或其他机制识别到新的或显著改变的对权利或安全的风险时,机构必须采取措施减轻这些风险,包括适当时通过更新人工智能来减少其风险或实施程序性或手动的缓解措施,例如更严格的人工干预要求。由于重大修改使本节中其他最低实践的现有实施变得不那么有效,例如通过使训练或文档不准确,机构必须适当地更新或重复这些实践。当人工智能对权利或安全的风险超过可接受水平且缓解策略无法充分减少风险时,机构必须尽快停止使用人工智能。^42

    • G. 确保充分的人员培训和评估。机构必须确保对人工智能的操作者进行足够的培训、评估和监督,以解释和应对人工智能的输出,解决任何人机协作问题(例如自动化偏见),并确保系统的基于人的组成部分有效管理来自使用人工智能的风险。培训应由机构确定的周期性基础上进行,并应针对所操作的人工智能产品或服务以及其使用方式进行具体化。

    • H.提供额外的人类监督、干预和责任,作为可能对权利或安全造成重大影响的决策或行动的一部分。机构必须评估其影响权利和影响安全的使用 AI 的方式,以识别任何不允许 AI 在没有额外人类监督、干预和责任的情况下行动的决策或行动。当对于这样的行动或决策不切实际地需要即时人类干预时,机构必须确保 AI 功能有一个适当的失败安全措施,以最小化造成重大伤害的风险。^43

    • I. 提供公共通知和简明语言文档。机构必须确保,在适用法律和政府范围内的指导方针许可的情况下,包括关于隐私保护、敏感执法、国家安全及其他受保护信息的保护,AI 的使用案例库条目提供了使用简明语言的功能性文档,作为对其用户和公众的公共通知。在人们与依赖 AI 的服务互动并可能受到 AI 影响时,机构还必须提供合理和及时的通知^44 关于 AI 的使用,并提供直接访问使用案例库中有关它的任何公共文档的方法。在机构的使用案例不包含在它们的公共库中时,它们可能仍然需要向 OMB 报告相关信息,并必须确保在使用 AI 时适当地保持透明度,且与适用法律一致。

  • v. 对影响权利的人工智能的额外最低实践标准。不迟于 2024 年 12 月 1 日,机构必须遵循上述对于可能影响安全或权利的 AI 的最低实践标准。此外,不迟于 2024 年 12 月 1 日,在开始使用新的或现有的影响权利的 AI 之前,机构还必须遵循这些最低实践标准:
    • A. 识别并评估 AI 对公平与公正的影响,并在存在算法歧视时予以缓解。机构必须:

    • B. 咨询并纳入受影响社区和公众的反馈。符合适用法律和政府范围内的指导,机构必须咨询受影响的社区,包括服务不足的社区,并且在适当的情况下,他们必须征求公众反馈,用于人工智能的设计、开发和使用,并利用此类反馈来通知机构关于人工智能的决策。咨询和反馈过程必须包括寻求关于机构实施本备忘录第 5(c) 节所规定的最低风险管理实践的方法的输入,如适用的选择退出程序。机构应该在像欺诈预防和执法调查等上下文中考虑和管理公众咨询的风险,在这些情况下,与目标个体协商是不切实际的,但与代表性团体协商可能是合适的。^45机构被强烈鼓励从受影响的社区特别是,以及从广泛的公众那里持续征求反馈,尤其是在对 AI 或其使用的条件或上下文进行重大修改之后。^46 在评估此类反馈的过程中,如果一家机构确定在给定的上下文中使用 AI 会带来更多的坏处而非好处,该机构则不应使用 AI。为了进行此类咨询和反馈过程,机构必须采取适当步骤,征询受 AI 影响的社区和个人的意见,这可能包括:^47

    1. 直接的可用性测试,例如观察用户与系统的互动;
    2. 向公众一般征求意见,例如在联邦公报中发布的信息请求,或者一个带有开放式回应空间的“告诉我们您的经历”表格;
    3. 事务完成后客户反馈收集;^48
    4. 公开听证会或会议,例如听证会;
    5. 对相关联邦雇员团体和联邦劳工组织的外联,包括在适用的情况下,关于集体谈判义务的适当履行;或
    6. 任何其他透明过程,旨在以一种有意义的、公平的、可访问的和有效的方式,从受影响群体中征求公众意见、评论或反馈。
    7. 在使用包含受联邦非歧视法律保护的类别信息(如,种族、年龄等)的数据时,识别并记录在其 AI 影响评估中。鉴于当 AI 可能将人口统计信息与其他类型的信息相关联时所产生的风险,机构应该还评估并记录 AI 模型是否可以预见地使用其他属性作为受保护特征的代理,并且这样的使用是否会显著影响模型性能;
    8. 在现实世界环境中评估人工智能,以确定人工智能模型是否在不同人群组中的表现(例如,准确性、精确度、预测结果的可靠性)存在显著差异;
    9. 缓解导致或持续非法歧视、有害偏见,或因政府使用人工智能导致公平性降低的不平等现象;以及
    10. 与适用法律一致,如果机构无法充分缓解与受保护群体非法歧视相关的任何风险,停止使用人工智能进行机构决策。机构应保持适当的文件记录以配合此决策,并应在与适用法律及政府广泛政策一致的情况下,向公众披露。
  • _ 不迟于 2024年12月1日,并在使用新的或现有的影响权利的人工智能时持续进行,机构必须确保遵循以下针对人工智能的实践:

    • C. 对人工智能启用的歧视进行持续监控和缓解。作为第 5(c)(iv)(D) 节中建立的持续监控要求的一部分,机构还必须监控对权利产生影响的人工智能,特别是评估和减轻针对受保护类别的人工智能驱动的歧视,包括可能由于不可预见的情况、系统部署后的更改,或者使用上下文或相关数据的更改而产生的歧视。如果无法充分减轻,则机构必须安全地停止使用人工智能功能。

    • D. 通知受负面影响的个人。与适用法律和政府范围内的指导方针相一致,当使用人工智能结果导致针对特定个人的不利决定或行动时,例如拒绝福利或认定交易为欺诈行为,机构必须通知这些个人。^49 机构应考虑其通知的时机,以及在人工智能使用的上下文中,何时适宜通过多种语言和替代格式及渠道提供通知。通知还必须包括一种清晰易懂的联系机构的方法,并在适用的情况下,向个人提供关于他们的上诉权利的信息。机构还必须遵守提供此类决定和行动解释的任何现有义务。^50

    • E. 维持人类考量和补救过程。在可行的情况下,与适用法律和政府范围内的指导方针一致,如果适当,机构必须为人工智能的使用提供及时的人类考量和潜在补救措施,通过一个回退和升级系统,以防受影响个人希望上诉或对人工智能对他们的负面影响提出异议。已经维护有关不利行动或机构官员实质性或程序性错误的上诉或第二次人工审查流程的机构,可以酌情利用和扩展这些流程,或建立新的流程以满足此要求。这些补救流程不应给受影响的个人带来不必要的负担,机构应遵循 OMB 的指导计算行政负担。^51 当机构由于法律、政府范围内的指导或不切实际而无法提供个人申诉的机会时,他们必须创建适当的替代机制,以进行人类对 AI 的监督。

    • F. 维持选择退出人工智能(AI)决策的选项。机构必须提供并维护一种机制,以便个人在可行的情况下,并且与适用的法律及政府范围内的指导一致时,方便地选择退出 AI 功能,转而采用人类的替代方案。选择退出机制必须显眼、随时可用且易于访问,特别是在受影响的人们合理期望有一个替代方案的情况下,或者缺乏替代方案会显著限制服务的可用性或造成不必要的有害影响的情况下,这一点尤为关键。机构还应寻求确保选择退出机制本身不会对访问政府服务强加歧视性负担。如果 AI 功能仅用于预防、检测和调查欺诈^52 或网络安全事件,或进行刑事调查,则机构无需提供选择退出的能力。根据第 5(c)(ii) 节中定义的豁免权威力,如果 CAIOs 能够证明人类替代方案将导致服务不那么公平(例如,对受保护的类别产生不同的影响)或者选择退出将给机构带来不必要的困难,他们还被允许豁免此选择退出要求。

d. 管理联邦采购人工智能的风险

本节为机构提供了负责任采购 AI 的建议,补充了机构对于影响权利的 AI 和影响安全的 AI 所必需的风险管理实践。除了这些建议,并且与《推进美国 AI 法案》第 7224(d) 条和行政命令 14110 第 10.1(d)(ii) 条一致,OMB 也将开发初步方法以确保联邦合同采购 AI 系统或服务与本备忘录中的指导方针保持一致。

  • i. 符合法律。机构应确保采购的 AI 与宪法一致,并遵守所有其他适用的法律、法规和政策,包括那些涉及隐私、保密性、智慧财产权、网络安全、人权和公民权利以及公民自由的规定。

  • ii. 透明度和性能提升。机构应采取措施确保其采购的人工智能的透明度和充分的性能,包括通过:

    • A. 获取足够的文档以评估人工智能的能力,例如通过使用模型、数据和系统卡片;
    • B. 获取 AI 已知限制的充分文档和有关系统预期使用方式的任何指南;
    • C. 获取用于训练、微调或操作人工智能所使用的数据的来源的充分信息;
    • D. 定期评估联邦承包商关于其人工智能产品有效性以及已采取的风险管理措施的声明,包括在机构预期部署该能力的特定环境中测试人工智能;
    • E. 考虑制定合同条款,激励采购的 AI 持续改进;
    • F. 在产品或服务采购的情境中适当时,要求对 AI 进行足够的后奖励期监控。
  • iii. 促进 AI 采购中的竞争。机构应采取适当措施以确保联邦 AI 采购实践促进承包商之间的竞争机会,并不会不当地巩固现有地位。这些措施可能包括促进互操作性,以便例如,采购的 AI 能够跨多个云环境工作,同时确保供应商不会不当地偏袒自家产品而损害竞争者的产品。

  • iv. 最大化数据的价值用于人工智能。在针对人工智能产品和服务的合同中,机构应将相关数据以及对该数据的改进——例如清洗和标注——视为其人工智能成熟度的关键资产。机构应采取措施确保他们的合同为政府保留足够的数据权利以及对这些数据的任何改进,以避免供应商锁定,并促进政府持续的人工智能设计、开发、测试和运营。此外,机构应考虑制定合同条款,以保护供应商在开发和运营针对联邦政府的人工智能产品和服务时使用的联邦信息,以使此类数据免遭未经授权的披露和使用,并且不能在未经该机构明确许可的情况下,被随后用于训练或改善供应商的商业产品功能。

  • v. 针对已知测试数据的过拟合。当使用开发者可能访问到的数据对人工智能进行测试时 —— 包括机构本身已经共享或发布的测试数据 —— 机构应适当确保,他们的人工智能开发者或供应商没有直接依赖测试数据来训练他们的人工智能系统。

  • vi. 负责任地采购用于生物特征识别的人工智能。在采购使用人工智能通过生物标识符识别个人的系统时 —— 例如,面部、虹膜、指纹或步态 —— 鼓励机构:A. 评估和解决训练或操作人工智能所用数据可能未被合法收集或使用,或者可能不足以支持可靠的生物特征识别的风险。这包括生物信息是在没有适当同意的情况下收集的,最初是为了另一个目的而收集的,嵌入了不希望的偏见,或者是在未对包含的身份进行验证的情况下收集的风险;以及 B. 请求支持文档或测试结果来验证人工智能匹配身份的准确性、可靠性和有效性。

  • vii. 负责任地采购生成式人工智能。鼓励各机构在生成式人工智能的合同中包含风险管理要求,尤其是对于双重用途的基础模型,包括:

    • A. 要求进行充分的测试和保障措施,
    • B. 要求提供内部或外部测试和评估的结果,包括对生成式人工智能风险的 AI 红队测试,如歧视性、误导性、煽动性、不安全或欺骗性输出;
    • C. 要求生成式 AI 模型在技术可行的情况下,适当地具备可靠地标记或为其内容建立出处的能力,以表示内容是由 AI 生成或修改的;以及
    • D. 在适当的情况下,纳入相关 NIST 标准,这些标准是根据行政命令 14110 的第 4.1(a) 节和第 10.1(d) 节定义的。
  • viii. 评估环境效率和可持续性。当采购计算密集型 AI 服务时,例如那些依赖双重用途基础模型的服务,机构应该考虑这些服务的环境影响,包括供应商是否已实施方法来提高这类 AI 的效率和可持续性。这应该包括考虑支持数据中心的碳排放和资源消耗。

6. 定义

下列定义适用于本备忘录的目的。

可访问性:术语“可访问性”的含义在行政命令 14035 的第 2(e) 节中提供。

机构:术语“机构”在 44 U.S.C. § 3502(1) 中的含义。

算法歧视:术语“算法歧视”在 2023 年 2 月 16 日的行政命令 14091 中第 10(f) 节提供了定义。

人工智能(AI):术语“人工智能”的定义见于2019财年约翰·S·麦凯恩国防授权法案第238条(g)部分,其中指出:“术语'人工智能’包括以下内容”:

  1. 任何在变化不定和不可预测的情况下执行任务、无需大量人工监督的人造系统,或能够从经验中学习并在接触数据集时提高性能的系统。
  2. 在计算机软件、物理硬件或其他环境中开发的人工系统,解决需要类似人类的感知、认知、计划、学习、交流或物理行动的任务。
  3. 一个旨在思考或行动像人类的人工系统,包括认知架构和神经网络。
  4. 一组旨在近似一个认知任务的技术,包括机器学习。
  5. 一种旨在理性行动的人工系统,包括使用感知、规划、推理、学习、沟通、决策和行动来实现目标的智能软件代理或具体化机器人。

为了本备忘录的目的,以下技术背景应指导对上述定义的解释:

  1. 这一定义的人工智能涵盖但不限于人工智能的技术子领域,包括机器学习(包括深度学习以及监督学习、非监督学习和半监督学习方法)、增强学习、迁移学习和生成性人工智能。

  2. 此定义的 AI 不包括机器人流程自动化或其他系统,这些系统的行为仅由人定义的规则决定,或仅通过完全如实重复观察到的实践来学习。

  3. 根据此定义,由于缺乏技术复杂性(例如,模型中的参数数量较少、模型的类型或用于训练目的的数据量),不应将任何系统视为过于简单而不符合被认定为受管控 AI 的资格。

  4. 此定义包括完全自治、部分自治和非自治系统,同时也包括既可在人类监督下运行也可在无人监督下运行的系统。

AI 和 AI -Enabling Roles:术语 “AI 和 AI -Enabling Roles” 指的是担任职位和主要职责的个人,其贡献对于成功和负责任的 AI 成果至关重要。AI 和 AI -Enabling Roles 包括技术性和非技术性的角色,例如数据科学家、软件工程师、数据工程师、数据治理专家、统计学家、机器学习工程师、应用科学家、设计师、经济学家、运营研究员、产品经理、政策分析师、项目经理、行为与社会科学家、客户体验策略师、人力资源专家、合同官员、经理和律师。

AI 成熟度:术语 “AI 成熟度” 指的是联邦政府机构将 AI 成功且负责任地采用到其运营和组织内的决策中、管理其风险,并遵守与 AI 相关的联邦法律、法规和政策的能力。

AI 模型:术语“AI 模型”的含义如行政命令 14110 第 3(c) 节所提供。

AI 红队测试:术语“AI 红队测试”的定义与行政命令 14110 第 3(d) 节中提供的“AI 红队测试”的定义相同。

应用研究:所谓“应用研究”是指为了获得新知识、确定实现特定实际目标或目的的方法而进行的原始调查。

自动化偏差:术语“自动化偏差”是指人类过度青睐来自自动化决策系统的建议,并忽略或未能寻找未经自动化的相反信息的倾向

基础研究:术语“基础研究”指的是主要为了获取现象和可观察事实的基础知识而进行的实验或理论工作,而没有考虑针对过程或产品的具体应用。

CFO 法案机构:术语 “CFO 法案机构” 指的是在 31 U.S.C. § 901(b) 中确定的机构。

自定义开发代码:术语“自定义开发代码”在 OMB 备忘录 M-16-21 的附录 A 中提供了定义。

客户体验:该术语“客户体验”具有行政命令 14058.55 第 3(b) 节中确定的含义。

数据资产:该术语“数据资产”具有 44 U.S.C § 3502 中提供的含义。

双重用途基础模型:“双重用途基础模型”一词的含义,请参见行政命令 14110 第 3(k) 节中的规定。

公平性:术语“公平性”在行政命令 14091.56 的第 10(a) 节中有所定义。

联邦信息:术语“联邦信息”在 OMB 循环 A-130 中有所定义。

生成式 AI :术语“生成式 AI ”在行政命令 14110 的第 3(p) 节中有所定义。

情报界:术语“情报界”具有 50 U.S.C. § 3003 中提供的含义。

模型权重:该术语在《行政命令 14110》第 3(u) 节中的定义。

开放政府数据资产:术语“开放政府数据资产”在 44 U.S.C § 3502 中的定义。

开源软件:术语“开源软件”的定义见 OMB 备忘录 M -16-21 附件 A。

影响权利的人工智能:“影响权利的人工智能”指其输出作为关于具有法律、物质、约束性或类似重大影响的特定个人或实体的决策或行动的主要依据的人工智能:

  1. 民权、公民自由或隐私,包括但不限于言论自由、投票、人类自主权以及保护免受歧视、过度惩罚和非法监控的权利;
  2. 平等机会,包括平等获取教育、住房、保险、信贷、就业以及其他适用民权和平等机会保护的程序;或
  3. 访问或申请关键政府资源或服务的能力,包括医疗保健、金融服务、公共住房、社会服务、交通以及基本商品和服务。

AI 使用风险:术语 “AI 使用风险” 指的是与效能、安全性、公平性、公正性、透明度、问责性、适当性或法律性有关的风险,这些风险源自于使用 AI 来通知、影响、做出决定或执行该决定或行动。这包括以下情况下的风险,无论:

  1. AI 仅仅是通知决定或行动、部分自动化它,还是完全自动化它;
  2. 是否有人类对决策或行动的监督;
  3. 决策或行动是否轻易可见,例如当一个 AI 应用执行一个后台任务或默默拒绝采取行动时;或
  4. 参与决策或行动的人类或受其影响的人是否意识到 AI 如何或在何种程度上影响或自动化了决策或行动。

虽然这些风险的具体形式不断演变,但至少以下因素可能会制造、促成或加剧这些风险:

  1. AI 输出不准确或具有误导性;
  2. 不可靠、无效或缺乏鲁棒性的 AI 输出;
  3. 具有歧视性或产生歧视效果的 AI 输出;
  4. 贡献于 导致 有害或不安全后果 的 动作或决策 的 人工智能输出,包括 降低人们采取故意和有害行为的门槛的 人工智能输出;
  5. AI 被用于不适合的任务,或在未被设计的情境中被不当地重新利用;
  6. 在受影响人群合理期望人类应主要负责决策或行动的背景下使用人工智能;以及
  7. 对人工智能的对抗性逃避或操纵,例如一个实体故意诱导人工智能错误分类输入。

此定义适用于特定源自使用 AI 引起的风险,影响决策或行动的结果。它不包括与 AI 相关的所有风险,例如与用于训练 AI 或用作 AI 模型输入的数据的隐私、安全性和保密性相关的风险。

影响安全的人工智能:“影响安全的人工智能”是指其输出产生的行为或作为一个决定的主要依据,有可能对以下方面的安全产生重大影响:

  1. 人的生命或福祉,包括生命损失、严重伤害、身体伤害、生物或化学伤害、职业风险、骚扰或虐待、或心理健康,包括这些伤害对个人和社区的影响;
  2. 气候或环境,包括不可逆转或重大的环境损害;
  3. 关键基础设施,包括在总统政策指令 2159 或任何后续指令中定义的关键基础设施领域以及投票和保护选举完整性的基础设施;或,
  4. 战略资产或资源,包括高价值财产和被联邦政府标记为敏感或机密的信息。

重大修改:术语“重大修改”指的是对 AI 应用程序或其使用条件或环境的更新,这种更新在实质上改变了 AI 对权利或安全的影响,比如通过改变其功能、底层结构或性能,使得之前的评估、培训或文档对用户、监管者或受系统影响的个人而言变得误导性。这包括显著改变 AI 使用的环境、范围或预定目的。

边缘群体:术语“边缘群体”在 行政命令 14091 的第 10(b) 节中有所定义。

附录 I:被假定为影响安全和权利的人工智能(AI)的应用目的

OMB 已确定本附录中的类别通常符合影响安全的人工智能(AI)或影响权利的人工智能的定义,并自动被假定为影响安全 或影响权利。以下列表仅识别了影响权利和安全的人工智能应用的一个子集,并不代表一个详尽的列表。此外,按照第 5 节概述的流程,一个机构的 CAIO 可以在提供充分理由的情况下,免除下列列表中特定人工智能应用将影响权利或安全的假定。

  1. 被推定为影响安全的用途。如果人工智能的使用在现实世界条件下,被用于或预期用于控制或显著影响以下任何一项机构活动或决策的结果,则被推定为影响安全:

    • a. 控制大坝、紧急服务、电网、能源的生成或移动、消防系统、食品安全机制、交通控制系统以及其他控制物理转移的系统、水和废水系统、或核反应堆、材料和废物的安全关键功能;
    • b. 维护选举及投票基础设施的完整性;
    • c. 控制工作场所、学校、住宅、交通、医疗或执法环境中机器人或机械臂的物理移动;
    • d. 应用动力学力量;释放生物或化学制剂;或释放可能造成损害的电磁脉冲;
    • e. 自主或半自主移动的车辆,无论是在陆地上、地下、海上、空中,还是在太空;
    • f. 控制有害化学品或生物制剂的运输、安全、设计或开发;
    • g. 控制工业排放和环境影响;
    • h. 运输或管理工业废物或其他受控污染物;
    • i. 设计、构造或测试工业设备、系统或结构,如果它们失效,将对安全构成重大风险;
    • j. 执行医疗设备的医学相关功能;提供医学诊断;确定医疗治疗;提供医疗或保险健康风险评估;提供药物成瘾风险评估或确定获得药物的权限;进行自杀或其他暴力行为的风险评估;检测或预防心理健康问题;为干预措施标记患者;在公共保险的背景下分配护理;或控制健康保险成本和承保;
    • k. 检测危险武器的存在或暴力行为;
    • l. 选择召唤急救人员应对紧急情况;
    • m. 控制对政府设施的访问或安全性;或
    • n. 确定或执行根据制裁、贸易限制或对出口、投资或航运的其他控制的执法行动。
  2. 被假定为影响权利的用途。如果人工智能的使用在现实世界条件下被用于或预期用于控制或显著影响以下任何机构活动或决策的结果,则被假定为影响权利的用途:

    • a. 屏蔽、删除、隐藏或限制受保护言论的传播;
    • b. 在执法环境中,制作关于个体的风险评估;预测犯罪再犯;预测犯罪者;识别犯罪嫌疑人或预测作案者的身份;预测犯罪受害者;预测犯罪;检测枪声;在公共空间随时间跟踪个人车辆,包括使用车牌读取器;进行生物特征识别(例如,虹膜、面部、指纹或步态匹配);素描面孔;基于遗传信息重构面孔;监控社交媒体;监视监狱;法医分析犯罪证据;进行法医遗传学研究;在调查过程中进行网络入侵;对个人进行物理位置监控或跟踪;或做出与判刑、假释、监督释放、缓刑、保释、审前释放或审前拘留有关的决定;
    • c. 决定或提供与移民、庇护或拘留状态相关的风险评估;提供有关计划前往或已进入美国及其领土的个人的移民相关风险评估;通过生物识别或通过监控社交媒体和其他在线活动,决定个人的边境通行或对联邦移民相关服务的访问权限;出于移民和拘留相关目的监控个人的物理位置;或预测个人的迁移活动;
    • d. 在公共可访问空间进行生物特征识别,用于一对多识别;
    • e. 在人类中检测或测量情绪、思想、障碍或欺骗;
    • f. 未经明确同意,复制一个人的肖像或声音;
    • g. 在教育环境中,检测学生作弊或剽窃;影响招生过程;监控学生在线或虚拟现实中的行为;预测学生的进步或结果;推荐纪律干预措施;决定对教育资源或项目的访问权限;决定学生资助或联邦教育的资格;或促进监视(无论是在线还是面对面)。
    • h. 筛选租户;在公共住房的背景下监控租户;为房屋提供估价;承保抵押贷款;或决定住房保险的获取权限或条款;
    • i. 确定就业条款或条件,包括就业前筛选、合理调整、薪资或晋升、绩效管理、招聘或解雇、推荐纪律处分;执行任务时间跟踪;或进行工作场所监控或自动化人事管理;
    • j. 执行 医疗设备 的相关医疗功能;提供医疗诊断;确定医疗治疗;提供医疗或保险健康风险评估;提供药物成瘾风险评估或决定药物使用权限;进行自杀或其他暴力行为的风险评估;检测或预防心理健康问题;为干预措施标记患者;在公共保险情境下分配护理;或控制健康保险成本和承保;33
    • k. 分配贷款;决定金融系统访问权限;信用评分;决定谁将接受金融审计;进行保险决策和风险评估;确定利率;或确定财务处罚(例如,扣发工资或扣留退税);
    • l. 关于获取、符合条件或撤销关键政府资源或服务的决策;通过生物识别或其他方式(例如,签名匹配)允许或拒绝访问 IT 系统以获取福利服务;检测政府服务的欺诈性使用或尝试使用;在政府福利的背景下分配处罚;
    • m. 为官方沟通目的在语言之间进行翻译,其中响应具有法律约束力;在没有合格口译员或翻译员在场的情况下,为直接影响机构决策或行动的互动提供实时语言解释或翻译;或
    • n. 提供有关收养匹配、儿童保护行动、推荐儿童监护权、判断父母或监护人是否适合获得或保留儿童监护权,或为老年人或残疾人提供保护措施的建议、决策或风险评估。

附件二:综合行动表

负责实体行动内容截止日期
各机构指派一名机构首席 AI 官员并通知 OMB3(a)(i)60 天
各行动机构CFO召集机构 AI 治理委员会3(a)(ii)60 天
各机构向 OMB 提交并公开发布一个机构计划,以实现与本备忘录的一致性,或书面确定该机构不使用并且不预期使用所覆盖的 AI3(a)(iii)180 天以及之后每两年直至 2036
各行动机构CFO制定并公开发布一项机构策略,以消除对使用 AI 的障碍,并推进机构 AI 成熟度4(a)(i)365 天
每个机构**公开发布扩展的 AI 使用案例库并报告未包含在公开库中的使用案例的指标3(a)(iv),
3(a)(v)每年

每个机构*分享并释放 AI 代码、模型和数据资产,视情况而定4(d)持续进行
每个机构*停止使用任何安全影响或权利影响的 AI,如果这些 AI 未遵守第 5(c) 节并且未获得延期或豁免5(a)(i)2024 年 12 月 1 日 (可能延期)
每个机构*认证根据第 5(c) 节和 5(b) 节授予的豁免和决定的持续有效性,并公开发布一个摘要,详述每项及其理由5(a)(ii)2024 年 12 月 1 日及之后每年
每个机构*定期对使用中的任何安全影响和权利影响的 AI 进行风险审查5(c)(iv)(D)至少每年一次及在重大修改后
每个机构*向 OMB 报告根据第 5(b) 节作出的任何决定或根据第 5(c) 节授予的任何豁免5(b);5(c)(iii)持续进行,在授予豁免权后的 30 天内

* 排除 情报界 的元素。

** 排除情报界的元素。国防部免除了盘点个别用例要求的义务。

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多