从原则到实践：给军用AI-DSS开发者和使用者的建议

AI生成示意图

人工智能（AI）在军事决策领域的应用越来越普遍。AI决策支持系统（AI-DSS）能快速处理海量信息，帮助指挥员分析战场态势、判断攻击对象、地点、时间和方式。但与此同时，系统的不透明、算法偏见、数据缺陷，以及使用者可能对机器产生过度依赖，都给身处武装冲突中的平民带来了不容忽视的人道风险。

红十字国际委员会（ICRC）近年来持续关注这一问题。2024年ICRC发布报告，系统分析了AI-DSS对军事决策、人机交互、数据、不确定性和国际人道法适用的影响。2025年又向联合国秘书长提交建议，从人类控制、系统设计、测试验证、用户培训、责任和事后评估等方面提出了16条具体建议。

这些建议可以作为AI-DSS开发者和使用者进一步研究和验证的方向。

01

总原则：保证人类判断和控制

武装冲突中，任何涉及人的生命、自由和尊严的决策，都必须保留人类的控制和判断。AI-DSS（包括基于机器学习的系统）只能是辅助工具，不能削弱或取代人的决策。

给开发者的建议：

02

界面和平台

为提升AI-DSS用户界面与平台的实际应用效能，其设计须着力满足以下两项关键要求：一是确保信息清晰、连贯。系统应防止用户陷入信息过载的困境，削弱其主动参与和自主判断的能力。二是允许质疑系统输出结果。系统须最大限度提升决策过程的透明度与可解释性，明确揭示输入变量与输出结论之间的因果关联，阐明算法运行的核心逻辑，并清晰标注底层数据的权重分配及其时效性信息。

03

数据集

开发者和使用者要确保AI-DSS使用的数据集可靠、来源合乎伦理、经过验证，能够代表实际作战环境，特别是要有平民存在、基础设施、移动模式和行为特征的数据。数据集应来自多种渠道，包括情报、监视与侦察系统、历史作战数据及军事仿真系统等。此类数据是准确区分军事目标与民用物体、战斗员与平民的关键依据。

04

消除偏见，防止歧视性后果

底层数据及训练方法中存在的缺陷，可能引发涉及性别、种族、族裔、残疾等方面的各类偏见，开发者和使用者应当采取有效措施，着力防范和消除此类情况。

05

严格测试与认证

开发者应确保AI-DSS在充分模拟武装冲突复杂性的环境中接受严格测试与验证。测试场景应涵盖快速变化的作战态势、对手可能采取的欺骗策略，纳入真实的平民存在、活动、行动及反应等要素，同时还应考量用户与系统的交互方式、评估自动化偏见的风险等。鉴于错误输出可能造成严重后果，开发者必须适用更为严格的可靠性和安全标准，以确保系统输出切实支持用户决策，而非构成妨碍。

06

重新测试

当AI-DSS的预期用途发生变更，或系统经修改导致功能或效果发生变化时，开发者应当重新进行测试。若事后审查、战损评估或实战经验表明系统输出未达预期效果，则应当重新测试。测试与验证过程中存在的局限性，应予以记录存档并告知使用者，尤其当系统仅在模拟条件下完成测试时，此项要求更为必要。

07

法律审查

如果AI-DSS构成武器系统的一部分，或成为武器系统设计或预期使用流程的一部分，国家必须将其纳入法律审查范围。

08

为加强平民保护进行专门设计

开发者不仅要考虑AI-DSS如何帮助武装部队实现攻击和其他行动目标，还要考虑如何专门设计和利用AI-DSS来促进更好地遵守国际人道法，加强平民保护。

给使用者的建议：

09

使用必要性评估

在决定将AI-DSS用于军事目的之前，使用者应首先评估使用的必要性。具体而言，应判断系统与具体任务和运行环境的适配性、任务目标的明确性，以及可获取数据的质量与充分性。

10

禁止与自主杀伤人员武器系统结合使用

AI-DSS不得用于生成目标识别画像或攻击建议，并将其直接输入至可在无进一步人工干预情况下攻击人员的自主武器系统中。

11

条令与程序制定

对于未被禁止的使用场景，应当制定并完善相应的条令框架、标准作业程序、战术技术与规程等指导性文件，以确保遵守国际人道法及其他适用法律和政策。上述框架应充分考虑AI-DSS带来的特定风险，防止其使用方式导致违法行为的加剧、增加违反国际人道法的风险或提高对平民的伤害风险。

12

用户培训要求

AI-DSS使用者应当接受专项培训，充分理解系统运行机制、输出生成原理，以及系统的局限性和脆弱性。培训内容还应包括帮助使用者识别和减轻在与系统交互过程中可能出现的人类认知偏差（如自动化偏见），并通过持续的训练、演习和模拟实践予以强化。

13

信息交叉核对要求

在使用AI-DSS输出时，特别是在目标打击决策中，使用方应当评估所有合理可用的信息。AI-DSS的输出不得作为进行法律评估的唯一信息基础。其他来源的信息可能揭示系统输出的不完整性、不准确性或未能充分反映特定情境因素。无论应用于目标打击还是涉及拘留或拘禁的决策，使用方均应将系统输出与所有其他合理可用的情报进行交叉核对。

14

拘留行动中的使用要求

在拘留行动中运用AI-DSS时，应当确保其不会对被拘留者的待遇及拘留条件产生不利影响。尤应保持与被拘留者的直接接触，这对建立信任、掌握动态、在不使用武力情况下维持秩序、及早发现问题以及确保拘留条件符合国际人道法具有重要作用。

15

战术耐心的保持

使用者应当考虑在运用AI-DSS的过程中保持“战术耐心”。具体而言，可在计划和决策流程的特定环节有意放缓节奏，为审慎思考和对敌对行动相关决定的仔细权衡预留充分时间。

16

事后审查与暂停机制

使用方应当开展及时、客观的事后审查，评估AI-DSS的输出在具体情境中的可靠性，以及使用者与系统交互及响应其输出与提示的情况。审查应评估系统是否按预期运行，及其使用对平民、民用物体或自然环境造成的影响，或对使用者遵守国际人道法能力的影响。一旦发现影响系统可靠性、合规性或安全性的问题，应立即暂停或停止使用AI-DSS。

从“原则”到“共同验证”

ICRC位于北京的东亚地区代表处正在与中国的技术社群开展对话。我们期待以这16条建议为起点，与AI-DSS的开发者和使用方开展更多具体研究，共同探索如何在系统架构、数据治理、人机交互、测试验证和使用流程中落实这些要求。守住人类判断和控制，就是守住国际人道法的底线。开发者与使用方，一个都不能缺位。

阅读建议文件完整版，

01

●联合国秘书长与红十字国际委员会主席再次呼吁各国通过规制自主武器系统的相关规则

02

●建立对人道无人机的信任需要各方共同努力

03

●问答 | 国际人道法与无人机在武装冲突中的使用

04

●红十字国际委员会工作组会见以色列军事拘留设施当局，以推动恢复探视准入

红十字国际委员会