国内首例：诱导AI聊天系统输出色情内容，开发者一审获刑四年

JQR1

据新京报报道，因旗下自动化聊天平台 AlienChat 涉及大量违规色情交互内容，该软件的主要开发与运营人员已被追究刑事责任。

2025 年 9 月，上海市徐汇区人民法院一审判决，两名被告人因犯制作淫秽物品牟利罪，分别被判处有期徒刑四年和一年六个月。此案成为国内首起因提供自动化对话服务而涉及传播淫秽物品获刑的刑事案件。目前，被告人不服判决已提出上诉，二审将于 1 月 14 日在上海市第一中级人民法院开庭审理。

此前，AlienChat 在宣传中声称致力于打造具有“自我意识”的数字伙伴，涵盖朋友、恋人及家人等多种人设。然而，法院查明，该平台的运营逻辑并非其宣称的纯粹社交。判决书显示，该应用拥有注册用户11. 6 万人，其中付费用户达2. 4 万人。截至案发时，该团队共通过收取会员充值费用非法牟利 363 万余元。

一审法院认定被告人构成“制作”淫秽物品牟利罪的核心依据在于：两名被告人通过编写和修改底层系统提示指令，人为突破了基础语言系统的道德约束机制。这种行为诱导并实现了系统向用户连续输出淫秽内容的功能。受此影响，该应用已于 2024 年无预警停止服务。

法律界人士指出，此案的宣判标志着监管部门对新型数字化交互内容的审核责任已进入司法实践阶段，开发者若通过技术手段绕过合规限制、放任或诱导违法内容生成，将面临严厉的法律制裁。

来源：AIbase