|
视频介绍：使用 TensorFlow 约束优化库设置公平目标 许多使用监督式机器学习的技术对人们的日常生活产生了越来越积极的影响，从发现疾病的早期迹象到过滤不适当的内容。然而，人们越来越担心学习模型通常满足最小化单个损失函数的狭隘要求，可能难以解决更广泛的社会问题，例如公平性，这通常需要权衡多个相互竞争的考虑因素。即使将这些因素考虑在内，这些系统仍可能无法满足如此复杂的设计要求，例如，假阴性可能比假阳性“更糟”，或者正在训练的模型应该“类似于”一个预先存在的模型。 该TensorFlow约束优化（TFCO）库可以很容易地根据多个不同的指标（如配置和火车机器学习问题的精度对某些群体，成员的真实阳性率在某些国家的居民，或召回率癌症诊断取决于年龄和性别）。虽然这些指标在概念上很简单，但通过为用户提供最小化和约束它们的任意组合的能力，TFCO 可以轻松制定和解决公平社区特别感兴趣的许多问题（例如均衡赔率和预测平价）和机器学习社区更普遍。 TFCO 与我们的 AI 原则有何关联？TFCO 的发布将我们的AI 原则付诸行动，进一步帮助指导人工智能在研究和实践中的伦理发展和使用。通过将 TFCO 交到开发人员手中，我们的目标是让他们更好地识别他们的模型可能存在风险和有害的地方，并设置约束以确保他们的模型实现理想的结果。 目标是什么？借用Hardt 等人的一个例子。，考虑学习分类器的任务，该分类器决定一个人是否应该接受贷款（正面预测）或不接受（负面），基于能够偿还贷款（正面标签）的人的数据集，或者不是（否定）。要在 TFCO 中设置此问题，我们将选择一个目标函数奖励模型向那些将偿还贷款的人提供贷款，并且还会施加公平约束，以防止它不公平地拒绝向某些受保护的人群提供贷款。在 TFCO 中，要最小化的目标和要施加的约束表示为简单基本速率的代数表达式（使用普通 Python 运算符）。 指示 TFCO 最小化线性模型（没有公平约束）的学习分类器的整体错误率，可能会产生如下所示的决策边界：
这是一个很好的分类器，但在某些应用程序中，人们可能会认为它是不公平的。例如，正面标记的蓝色样本比正面标记的橙色样本更容易收到负面预测，违反了“机会均等”原则。为了纠正这一点，可以在约束列表中添加一个平等机会约束。生成的分类器现在看起来像这样：
我如何知道要设置哪些约束？选择“正确”的约束取决于您的问题和用户的策略目标或要求。出于这个原因，我们努力避免强迫用户从精心设计的“烘焙”问题列表中进行选择。相反，我们试图通过组合和操纵简单的基本费率，使用户能够定义极其广泛的可能问题，从而最大限度地提高灵活性。 这种灵活性可能有一个缺点：如果不小心，可能会试图强加相互矛盾的约束，导致受约束的问题没有好的解决方案。另外，在上述示例的情况下，人们可以约束的假阳性率（FPR中）是相等的，除了在真阳性率(TPR)（即“均等赔率”）。然而，这两组约束的潜在矛盾性质，加上我们对线性模型的要求，可能迫使我们找到精度极低的解决方案。例如：
如果模型不够灵活，要么两个组的 FPR 相等但非常大（如上例所示），要么TPR 相等但非常小（未显示）。 它会失败吗？将许多公平目标表达为速率约束的能力有助于推动机器学习负责任开发的进展，但这也需要开发人员仔细考虑他们试图解决的问题。例如，假设将训练限制为对四个组提供相同的准确度，但其中一组更难分类。在这种情况下，满足约束的唯一方法可能是减少三个更容易组的准确率，使他们匹配第四组的低准确率。这可能不是想要的结果。 “更安全”的替代方法是约束每个组独立满足某个绝对度量，例如通过要求每个组达到至少 75% 的准确度。使用这种绝对约束而不是相对约束通常可以防止组相互拖累。当然，有可能要求一个无法达到的最低准确度，因此仍然需要一些尽职尽责。 小样本的诅咒使用约束优化的另一个常见挑战是应用约束的组在数据集中的代表性不足。因此，随机梯度我们在训练期间计算会非常嘈杂，导致收敛缓慢。在这种情况下，我们建议用户对包含来自每个组的更高比例的单独重新平衡数据集施加约束，并且仅使用原始数据集来最小化目标。 例如，在维基毒性示例中我们提供，我们希望预测发布在 Wiki 讨论页上的讨论评论是否有毒（即包含“粗鲁、无礼或不合理”的内容）。只有 1.3% 的评论提到了与“性”相关的术语，并且这些评论中有很大一部分被标记为有毒。因此，在不受此数据集约束的情况下训练 CNN 模型会导致模型相信“性”是毒性的强指标，并导致该组的误报率很高。我们使用 TFCO 将四个敏感话题（性、性别认同、宗教和种族）的误报率限制在 2% 以内。为了更好地处理小组规模，我们使用“重新平衡”数据集来强制执行约束，而原始数据集仅用于最小化目标。如下所示，
交叉性——细粒度群体的挑战重叠约束有助于为多个类别的历史边缘化群体和少数群体创造公平的体验。除了上述示例之外，我们还提供了一个CelebA 示例，该示例检查用于检测图像中的微笑的计算机视觉模型，我们希望在多个非互斥的受保护组中表现良好。该假阳性率在这里可能是一个合适的度量标准，因为它测量不包含笑脸的图像的比例，这些图像被错误地标记为微笑。通过比较基于可用年龄组（年轻人和老年人）或性别（男性和女性）类别的误报率，我们可以检查不受欢迎的模型偏差（即，微笑的老年人图像是否未被识别）。
在 Hood 下正确处理速率约束具有挑战性，因为根据计数（例如，准确率是正确预测的数量除以示例的数量），约束函数是不可微的。在算法上，TFCO 将约束问题转换为非零和的两人游戏（ALT’19，JMLR’19）。该框架可以扩展以处理排名和回归设置 ( AAAI’20 )、更复杂的指标，例如 F-measure ( NeurIPS’19a )，或提高泛化性能 ( ICML’19 )。 我们相信TFCO库将有助于训练 ML 模型，这些模型考虑到满足现实世界要求所必需的社会和文化因素。我们提供的示例（毒性分类和微笑检测）只是皮毛。我们希望 TFCO 的灵活性使您能够处理问题的独特要求。 |
|
|
