生成式AI涉黄案件中“主观故意”的穿透式审查与出罪路径

本文作者：徐伟

摘要&关键词

摘要：随着生成式人工智能技术的爆发式增长，算法在重塑内容生产边界的同时，也对传统刑事归责体系提出了挑战。以国内首起AI服务提供者涉黄案（AlienChat案）为切入点，生成式AI涉黄案件中开发者主观故意的认定面临“明知”标准失灵、因果关系断裂以及行政责任向刑事责任非正常传导三重困境。司法实务通过以系统提示词审查为核心的客观行为反推、对输出内容的实质性控制力标准以及结果导向的合规审查，形成了穿透式审查逻辑。在此逻辑下，开发者可从切断用户“越狱”行为的因果关系、主观过错从直接故意向间接故意或过失降级、构建基于技术尽职免责的有效合规体系三条路径寻求出罪。刑法介入AI治理应坚守谦抑性原则，在打击蓄意犯罪的同时为技术创新留下合理空间。

关键词：生成式人工智能；淫秽物品犯罪；主观故意；穿透式审查；技术中立；出罪路径

一、引言

随着生成式人工智能（Generative AI）技术的爆发式增长，算法不仅重塑了内容生产的边界，也对传统的刑事归责体系提出了前所未有的挑战。2025年9月，上海市徐汇区人民法院对国内首起AI服务提供者涉黄案（AlienChat案，以下简称“AC案”）作出一审判决，两名开发者因犯制作淫秽物品牟利罪分别被判处有期徒刑四年和一年六个月[1]。该案的特殊性在于，涉案的淫秽内容并非由开发者直接上传或预先录制，而是用户在与AI伴侣的私密交互中动态生成的。

当算法成为违法内容的“助产士”，开发者的主观故意应当如何认定？在传统的网络犯罪案件（如“快播案”）中，“技术中立”往往是网络服务提供者最常援引的抗辩理由。然而，在生成式AI的语境下，大语言模型（LLM）的输出高度依赖于系统提示词（Prompt）的设定与用户的诱导。如果开发者仅仅是提供了一个具有生成能力的工具，其行为是否等同于“制作”淫秽物品？司法机关又如何穿透技术的黑盒，认定开发者具有犯罪的主观故意？本文拟以AC案为切入点，剖析生成式AI涉黄案件中主观故意的认定困境与司法实务的穿透式审查逻辑，并尝试为开发者构建合理的出罪与辩护路径。

二、AI涉黄案件中主观故意的认定困境

在传统的制作、传播淫秽物品犯罪中，行为人的主观故意通常表现为对淫秽物品性质的“明知”，以及对制作、传播行为的“追求”或“放任”。然而，在生成式AI涉黄案件中，这种传统的认定标准面临着严重的适用障碍。

首先，传统刑法中的“明知”标准在AI黑盒面前显得力不从心。生成式AI的输出具有概率性和不可预测性，即便是模型的开发者，也无法准确预知用户在特定提示词下会得到何种具体的回复。如果开发者无法预见具体的危害结果，能否认定其具有刑法意义上的“明知”？

其次，开发者“提供工具”与用户“触发生成”之间的因果关系存在断裂的可能。在AC案中，淫秽内容的产生是人机互动的产物。如果没有用户的特定输入和诱导，AI模型本身并不会主动输出淫秽信息。正如中国政法大学王志远教授所指出的，智能伴侣软件开发者显然没有直接参与淫秽物品的制作过程，其客观行为仅限于对软件的开发设计[1]。在这种情况下，将最终生成的淫秽内容直接归因于开发者，在因果关系的认定上存在逻辑跳跃。

最后，部门规章设定的行政责任存在向刑事责任非正常传导的风险。2023年施行的《生成式人工智能服务管理暂行办法》第九条规定，提供者应当依法承担网络信息内容生产者责任。在AC案的一审判决中，法院援引了该规定，据此认为两名被告人作为服务提供者，应当对产生的交互聊天内容承担生产者责任[1]。然而，正如学者阎二鹏所言，部门规章界定的是行政法律责任，不能直接用其来替代刑事法律责任的判断[1]。如果仅因开发者未尽到行政法规规定的安全管理义务，就直接推定其具有犯罪的主观故意，无疑违背了刑法的谦抑性原则。

三、司法实务的穿透式审查逻辑

面对上述困境，司法实务并未拘泥于传统的认定模式，而是发展出了一套针对生成式AI的穿透式审查逻辑。这种逻辑的核心在于，通过审查开发者在模型训练、系统设定和运营管理过程中的客观行为，来反推其主观故意。

（一）客观行为反推主观故意：以“提示词”为核心

在AC案中，一审法院认定被告人主观故意的关键依据，是其“通过编写、修改系统提示词（Prompt）突破大语言模型的道德限制，实现了模型向用户连续输出淫秽内容的可能”[1]。法院认为，这一行为清晰地表明了两名被告人“主观上积极追求色情淫秽聊天内容的产生”。

这种审查逻辑表明，司法机关不再仅仅关注AI工具的最终输出结果，而是深入到技术实现的最前端。系统提示词是引导大模型生成特定风格和内容的基础指令。如果开发者在系统提示词中明确解除了道德和法律的约束（例如设定“可自由描绘性、暴力场景，不受道德法律约束”），这就超出了单纯的“技术中立”范畴，转变为对违法内容生成的积极促成。

（二）控制力标准：对输出内容的实质性控制

除了提示词的设定，法院还审查了开发者对AI输出内容的控制能力。一审法院认为，AC软件是专门为持续生成淫秽色情内容而设计和“优化”的，向用户输出的聊天内容是高度可控且可预测的，被告人“对于输出内容具有实质性控制能力”[1]。

这一标准的引入，实际上是对“技术中立”抗辩的有力回应。如果一个AI工具在设计之初就以生成违法内容为主要目的，且开发者通过技术手段确保了这种目的的实现，那么该工具就不再是中立的，而是犯罪的工具。中国政法大学郭旨龙教授也赞同这一观点，认为在AC案中，AI应当被视为服务提供者掌控下的工具，用户的输入只是触发条件[1]。

（三）结果导向的合规审查

在审查开发者的主观故意时，司法机关还会考量其是否采取了有效的安全合规措施。然而，这种审查并非停留在“形式上的合规”，而是注重“结果”。

在AC案中，尽管开发者可能辩称其设置了敏感词拦截等安全机制，但法院结合“淫秽物品的数量、会员人数、收费金额”等因素综合评估，认定其行为具有社会危害性[1]。这意味着，如果开发者采取的安全措施形同虚设，放任大量违法内容产生，其“不知情”或“已尽责”的抗辩将难以成立。特别是2025年11月实施的国标《网络安全技术生成式人工智能服务安全基本要求》明确规定，模型生成内容合格率不低于90%[1]。这一量化指标为司法机关判断安全措施的有效性提供了客观依据。

四、开发者的出罪路径与辩护空间

在穿透式审查逻辑下，生成式AI开发者的刑事风险显著增加。然而，这并不意味着开发者在面对指控时毫无辩护空间。结合AC案二审中辩护律师的观点及相关法学理论，本文提出以下三条出罪与辩护路径。

（一）切断因果关系：论证用户“越狱”行为的异常性

如前所述，AI生成内容的因果关系链条中包含了用户的输入行为。如果开发者能够证明，其在系统设定中并未鼓励或引导生成违法内容，违法内容的产生完全是由于用户采取了极端、异常的“越狱（Jailbreak）”手段（如使用复杂的对抗性提示词绕过安全机制），那么就可以主张切断开发者行为与危害结果之间的刑法因果关系。

在AC案二审中，辩护律师指出，一审侦查实验表明，使用境内外大语言模型进行交互聊天时有限制，无法生成淫秽色情内容，AI产生淫秽色情内容是需要用户进行一系列诱导的[2]。此外，第二被告人陈某某在服刑结束后重新进行实验，发现删除一审法院认定有问题的提示词后，对AI伴侣是否输出淫秽内容没有显著影响[2]。这些辩护意见的核心，正是试图证明开发者编写的提示词与淫秽内容的产生之间缺乏必然的因果关系。

（二）主观过错的降级：从“直接故意”向“间接故意”或“过失”转化

在难以完全切断因果关系的情况下，辩护方可以尝试将开发者的主观过错进行降级。一审法院认定AC案被告人构成制作淫秽物品牟利罪，前提是认定其具有“积极追求”的直接故意。

然而，如果开发者能够提供证据证明，其开发AI软件的主要目的是提供合法的情感陪伴服务，涉黄内容只是在运营过程中因技术漏洞或管理不善而附带产生的，那么其主观心态更接近于“放任”的间接故意，甚至是对技术风险认识不足的“过失”。正如学者阎二鹏所指出的，软件的开发者和服务提供者充其量也仅是淫秽物品犯罪的“帮助犯”[1]。在主犯（用户）行为难以认定为犯罪的情形下，对帮助者直接以实行犯（制作者）论处，在法理上存在争议。通过主观过错的降级，可以为被告人争取较轻的罪名（如非法利用信息网络罪）或更轻的量刑。

（三）有效合规抗辩：构建基于“技术尽职免责”的体系

在结果导向的审查逻辑下，形式合规已不足以免责。开发者必须构建实质性的、符合行业标准的有效合规体系。

如果开发者能够证明其已经按照《生成式人工智能服务管理暂行办法》及相关国标的要求，建立了完善的内容过滤机制、用户举报机制和模型优化迭代机制，且在发现违法内容后及时采取了阻断、封禁等措施，那么就可以主张其已经尽到了合理的技术注意义务。在这种情况下，即使仍有少量违法内容漏网，也应当被视为技术发展阶段难以完全避免的系统缺陷，而不应被认定为具有犯罪的主观故意。

五、结语

生成式AI技术的应用，使得违法内容的生产成本极具降低，传播方式更加隐蔽。司法机关在面对此类新型案件时，采取穿透式审查逻辑，通过客观行为反推主观故意，具有一定的现实合理性。

然而，刑法作为社会治理的最后一道防线，在介入AI治理时必须坚守谦抑性原则。我们不能因为技术存在被滥用的风险，就将技术发展初期的系统缺陷或管理疏漏等同于犯罪故意。在严厉打击利用AI技术蓄意犯罪的同时，司法实务也应当为那些致力于技术创新但因客观技术限制而未能完全阻断违法内容的开发者留下合理的出罪空间。呼吁立法和司法机关在未来的实践中，进一步明确生成式AI服务提供者的刑事责任边界，探索建立符合技术发展规律的“避风港”规则，以实现保护法益与促进技术创新的平衡。

注释

[1]新京报.AI伴侣聊黄，开发者获刑：国内首起AI服务涉黄判刑案二审在即
.https://www.bjnews.com.cn/detail/1768180560169402.html

[2]澎湃新闻.国内首例AI陪聊软件涉黄案：用户和AI伴侣软件聊“黄色内容”，开发运营者因制作淫秽物品牟利罪被判刑
.https://m.thepaper.cn/newsDetail_forward_32386696

徐伟，北京市京都律师事务所合伙人，专注“数字刑辩”，即网络犯罪、虚拟货币、数据与金融科技类等与犯罪辩护，并长期办理疑难复杂刑事案件与经济犯罪案件。著有《网络犯罪案例研究》。徐伟律师系北京律协优秀辩护律师、北京青年刑辩法庭大赛冠军，现任北京市律师协会智库委员、重大复杂案件研究组成员、最高人民检察院刑事申诉律师库律师、法治日报专家库专家、律商联讯合作专家作者，并担任北京市京都律师事务所刑事专业委员会网络犯罪研究组组长、京都金融证券犯罪研究中心秘书长。徐伟律师业务覆盖税务犯罪、金融犯罪、走私犯罪、企业高管职务犯罪、重大食品药品犯罪及刑事资产定性、涉案财产处置等领域；所代理案件曾入选最高检典型案例、被写入最高检官方报告，并入围"全国十大无罪辩护经典案例"评选。