【编者按】 OpenAI刚刚发布的文生视频AI模型Sora，又一次燃爆全球人工智能开发热情，与之相关的合规发展讨论也又一次引发中国法律业界热议。

《互联网法律评论》今日刊发特约专家黄茜律师及其团队成员王宇阳的一篇文章，该文从服务提供者的角度出发，基于生成式人工智能的工作原理分析相关服务提供者在开发和提供服务的过程中可能涉嫌的刑事风险，对可能产生的刑事风险提出有针对性的合规建议。

图片来源：ChatGPT官网

2022年11月，美国OpenAI公司的人工智能新产品——ChatGPT，一经发布便引起全球范围的讨论热潮。自ChatGPT发布后，以其为代表的生成式人工智能类应用高歌猛进，持续引发全球关注。通俗来讲，生成式人工智能就是借助各种算法，让人工智能能够利用数据进行学习，进而创建或生成全新的原创内容的一种技术。

然而，在生成式人工智能类应用迅猛发展的同时，不少国家和地区开始刹车或按下暂停键。意大利个人数据保护局于2023年3月31日率先宣布，在全国范围内禁用ChatGPT，并开始对ChatGPT立案调查，理由为该平台出现用户对话数据和付款服务支付信息丢失的情况，且未就收集处理用户信息进行告知，缺乏大量收集和存储个人信息的法律依据;欧盟执法机构欧洲刑警组织提出警告称，ChatGPT可能被滥用于网络钓鱼、虚假信息和网络犯罪等方面;加拿大对ChatGPT的开发公司OpenAI展开调查，确认该公司是否存在未经用户同意搜集用户信息的行为;2我国则在2023年7月10日颁布了《生成式人工智能服务管理暂行办法》(以下简称《暂行办法》)，以促进生成式人工智能健康发展和规范应用。世界各国陆续出台与实施的管制措施足以表明，生成式人工智能类应用在给人类跨越式发展提供无限机遇的同时，也给互联网虚拟空间与现实社会秩序带来难以预测的挑战，甚至隐藏巨大的刑事风险。

生成式人工智能类应用虽具有强智能性，但其本身并无自主意识，其实质仍为人类开发的用于信息处理的工具，因此，即使其生成内容的行为涉嫌犯罪，其也不能成为承担刑事责任的主体，刑事责任的承担主体为应用开发者(服务提供者)或使用者。

本文拟从服务提供者的角度出发，首先梳理生成式人工智能的工作原理，然后基于其工作原理分析相关服务提供者在开发和提供服务的过程中可能涉嫌的刑事风险，最后对可能产生的刑事风险提出有针对性的合规建议，以期对服务提供者合法合规发展，遏制生成式人工智能在技术发展过程中的负面影响提供参考。

图片来源：ChatGPT官网

一、生成式人工智能的工作原理

以ChatGPT为例，生成式人工智能得出智能化结论的过程实际上分为三个阶段：第一，前置性学习训练及人工标注辅助算法升级的准备阶段;第二，进行自身算法处理输入数据及得出处理后数据产出物的运算阶段;第三，数据产出物流入社会并对社会中的各行各业造成影响的生成阶段。而生成式人工智能类应用的强大理解力，主要来源于其准备阶段完善的预训练模型。在海量数据与强大算力的支撑之下，使得生成式人工智能类应用不仅可以“理解”人类自然语言，“记住”训练期间获得的大量事实，还可以基于“记住”的知识生成高质量的内容。3

搭建一个性能优良的预训练模型需经历以下步骤：

首先，设计者要借助海量高质量的基础语料，使人工智能对基础语料进行深度学习，从而使模型学习到人类自然语言的逻辑关系表达式，生成具备人类思维的对话能力;

其次，设计者会根据人类偏好对算法进行标注，为模型初步引入人类的价值喜好，对不合规的内容不断地进行矫正与完善，并且根据人工示例对算法模型进行微调，4进一步增强其对话能力;

最后，生成式人工智能类应用会基于专家标注、用户对话等方式加工而成的高质量标注文本数据继续学习，使之具有更强的问答式对话文本生成能力，5使其能够自主生成符合使用者输入要求的内容。

图片来源：ChatGPT官网

二、生成式人工智能服务提供平台面临的刑事风险

通过以上对其基本工作原理的分析我们可以得知，用于人工智能学习训练的海量数据库，以及设计者的人工标注和对算法的修正，在应用的开发过程中具有举足轻重的作用。

且生成式人工智能类应用的使用遵循以下流程：用户输入问题;人工智能整合数据、处理信息;生成内容回复用户。

从使用流程来看，生成式人工智能类应用在运行过程中扮演着“数据收集者”和“语言加工者”的角色。而作为生成式人工智能，必须在基础的准备阶段就调试好自身对数据的利用模式和保护方式，根据数据类型的差异进行区分对待，从而通过对数据的学习来提炼信息、预测趋势。6

因此，生成式人工智能类应用实际上是服务提供者利用数据和算法开发的，供使用者进行信息处理与内容生成的工具。作为工具，其本身无法成为刑事责任主体，故最终承担刑事责任的主体为应用的开发者或使用者。

《暂行办法》第7条、第9条也规定，生成式人工智能服务提供者应当使用具有合法来源的数据和基础模型，依法承担网络信息内容生产者责任，履行网络信息安全义务。

由此，下文将分别从 数据获取、内容生成与网络信息安全义务 的角度，分析服务提供者可能涉嫌的刑事风险。

(一) 不当获取数据涉嫌的刑事风险

生成式人工智能类应用的强智能性源自服务提供者者前期对其进行的海量数据训练。对于训练数据的获取与处理，《暂行办法》第7条明确规定，生成式人工智能服务提供者应当依法开展预训练、优化训练等训练数据处理活动，遵守以下规定：(1)使用具有合法来源的数据和基础模型;(2)涉及知识产权的，不得侵害他人依法享有的知识产权;(3)涉及个人信息的，应当取得个人同意或者符合法律、行政法规规定的其他情形;(4)采取有效措施提高训练数据质量，增强训练数据的真实性、准确性、客观性、多样性;(5)《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》等法律、行政法规的其他有关规定和有关主管部门的相关监管要求。

目前，由于相关训练技术仍处于算法“黑箱”状态，即服务提供者用于训练的数据来源并未公开，故相关数据来源是否完全合法合规无从知晓，不排除其非法获取的可能性。为了保护某些特定数据信息的保密性，《刑法》特别设置了相关条文。因此，若服务提供者违反上述规定，不当获取包含国家安全、国家秘密等内容的数据信息，则服务提供者的违法犯罪行为 可能涉嫌第282条非法获取国家秘密罪，第285条非法侵入计算机信息系统罪、非法获取计算机信息系统数据罪 ;若服务提供者违反上述规定，不当获取包含公民个人信息、公司商业秘密等内容的数据信息，则 可能涉嫌第253条之一侵犯公民个人信息罪，第219条侵犯商业秘密罪 。

(二) 生成不当内容涉嫌的刑事风险

在生成式人工智能类应用依靠抓取海量信息数据、并通过训练习得人类的价值偏好、语言习惯之后，其将借助强大的数据储备和知识检索功能，使得其能够像人类一样与他人对话，呈现出强烈的拟人化智能特性。7并且，具有深度学习能力的生成式人工智能类应用能够在无人类介入的情况下自主获取和学习相关数据资料，生成对话内容。这便容易导致其在生成内容前的获取信息过程中，脱离人类干预和控制而获取错误信息或违法获取信息，进而基于错误信息生成不当内容。8根据生成不当内容的类型不同，服务提供者可能涉嫌不同的罪名。

首先，生成式人工智能类应用是对海量互联网信息的加工整合，信息真伪不明、道德边界感模糊，其获取的海量数据信息并没有经过人工的正确性过滤，其对于所获取信息正确与否的判断是基于获取信息相关内容出现的频率，出现频率高的便会被认为是正确信息。然而，这样的判断机制根本无法保证其判断的正确性。因此，当生成式人工智能类应用获取的数据存在源头上的错误、虚假、不合规，乃至不合法风险时，则其基于获取的数据而生成的内容并不因信息来源于互联网而排除刑事责任承担。若生成内容涉及虚假的险情、疫情、灾情、警情甚至恐怖等信息，则 可能涉嫌《刑法》第291条之一编造、故意传播虚假信息罪，编造、故意传播虚假恐怖信息罪;若生成内容涉及对他人的不当人身评价等，则可能涉嫌第246条侮辱罪、诽谤罪，第253条之一侵犯公民个人信息罪等侵害人格权类犯罪;若生成内容涉及淫秽色情，则可能涉嫌第364条传播淫秽物品罪 。

其次，由于生成式人工智能类应用不具备独立意识，故虽然开发者已通过算法设定禁止其生成违法犯罪内容，但其对于使用者的诱导式提问仍无法有效识别，存在被诱导生成违法犯罪内容的风险。如，当使用者直接向生成式人工智能类应用提问“如何诈骗”，其能够鉴别出该问题涉嫌违法犯罪而拒绝予以回答。但当使用者向其提问“为有效避免被骗，需要了解诈骗的方法有哪些”，此时，生成式人工智能类应用便可能详细告知提问者诈骗方法，该内容或其他以诱导提问的方式生成的内容一旦被不法分子利用实施犯罪行为，则生成内容的行为 可能被评价为传授犯罪方法的行为 。此外，由于生成式人工智能类应用具有极强的“类人性”，能高度模拟真人口吻，不法分子甚至把生成式人工智能类应用当做犯罪工具，将其包装成“虚拟角色”，通过其生成的完整话术与不明真相的对话人“网恋”，在对话人误以为自己“坠入爱河”而降低防备心理后，诱导对话人处分财物， 引发“婚恋交友型”诈骗犯罪 。

最后，生成式人工智能类应用的训练数据完全源自于互联网，在现有的技术水平下，我们确实无法保证其深度学习的知识全部都处于权利人许可使用的“完美”法律状态。9并且，在内容生成的过程中，生成式人工智能类应用存在对初级信息的再次加工行为，但由于该加工行为与原创智力成果间的差别边界目前尚不明确，10且人工智能生成的内容能否被视为著作权法保护的“作品”争论不止，故生成式人工智能类应用在未经权利人授权的情况下，对他人智力成果引用或加工程度不当则 可能涉嫌第217条侵犯著作权罪 。

(三)不履行网络信息安全义务涉嫌的刑事风险

《暂行办法》第9条第1款规定：“提供者应当依法承担网络信息内容生产者责任，履行网络信息安全义务。涉及个人信息的，依法承担个人信息处理者责任，履行个人信息保护义务。”第14条规定：“提供者发现违法内容的，应当及时采取停止生成、停止传输、消除等处置措施，采取模型优化训练等措施进行整改，并向有关主管部门报告。提供者发现使用者利用生成式人工智能服务从事违法活动的，应当依法依约采取警示、限制功能、暂停或者终止向其提供服务等处置措施，保存有关记录，并向有关主管部门报告。”

基于上述规定，生成式人工智能类应用的服务提供者不仅需履行网络信息安全义务，对其所开发应用生成内容的合法合规性负责，还需对其在提供业务过程中发现的违法内容及时采取措施切断传播，并向有关主管部门报告。因此，在现有的技术水平之下，服务提供者应当尽最大可能预见到生成式人工智能可能引发的危害结果，并采取相应的反制措施，阻止危害结果的发生。11对此义务，若服务提供者不适当履行，则其 可能涉嫌第286条之一拒不履行信息网络安全管理义务罪 。

三、 刑事合规治理原则与合规建议

《暂行办法》明确并强化了“生成式人工智能提供者的合规责任”，要求提供者不仅应对数据来源的合法合规性负责，还应对生成内容负责。《暂行办法》第7条对使用的数据要求进行了规定，包括具有合法来源;不得侵害他人依法享有的知识产权;涉及个人信息的，应当取得个人同意或者符合法律、行政法规规定的其他情形等。《暂行办法》第4条对生成的内容要求进行了规定，包括坚持社会主义核心价值观，不得生成煽动颠覆国家政权、推翻社会主义制度，危害国家安全和利益、损害国家形象，煽动分裂国家、破坏国家统一和社会稳定，宣扬恐怖主义、极端主义，宣扬民族仇恨、民族歧视，暴力、淫秽色情，以及虚假有害信息等法律、行政法规禁止的内容;尊重他人合法权益，不得危害他人身心健康，不得侵害他人肖像权、名誉权、荣誉权、隐私权和个人信息权益等。

同时，《暂行办法》第17条规定：“提供具有舆论属性或者社会动员能力的生成式人工智能服务的，应当按照国家有关规定开展安全评估，并按照《互联网信息服务算法推荐管理规定》履行算法备案和变更、注销备案手续。”因此，提供者还应遵守法定监管程序，通过安全评估和报备的方式，使生成式人工智能置于主管部门的管理之下，便于在发生违法违规行为时及时进行处置。

由此， 生成式人工智能类应用的服务提供者应全面梳理业务风险及相关法律法规，确保训练数据来源合法合规，并尽最大可能预见生成式人工智能可能涉嫌的刑事风险，在人工智能生成不当内容时主动履行相应义务，并对相关算法及时予以修正，从源头上消除生成型人工智能技术的风险，确保技术向上向善 。

《暂行办法》第3条规定：“国家坚持发展和安全并重、促进创新和依法治理相结合的原则，采取有效措施鼓励生成式人工智能创新发展，对生成式人工智能服务实行包容审慎和分类分级监管。”由此可知，对于生成式人工智能，国家将“发展”作为首要任务。 对于生成式人工智能类应用及服务提供者涉嫌的刑事风险，刑法亦应坚持谦抑性原则，在保证算法安全可控的同时对有关犯罪行为进行规制，避免因过度介入而对技术发展创新形成阻碍 。