当前生成式人工智能已在社会各领域被广泛应用，产生了巨大的社会效果。但看似“聪明绝顶”的AI，有时也会一本正经地“胡说八道”，产生AI“幻觉”。这里的“幻觉”，是指AI生成看似合理但实际不准确或虚假的信息。那么，当AI生成的不准确信息误导他人时，是否应承担侵权责任？

近期，杭州互联网法院审结了梁某与某科技公司网络侵权责任纠纷一案，对前述问题作出评判。

案情简介

某生成式人工智能应用程序，是被告基于自研大语言模型，开发并运营的文本生成、信息查询类通用型智能对话应用程序。2025年3月，原告在同意用户协议后，注册并开始使用某生成式人工智能应用程序。2025年6月29日，原告在生成式人工智能应用中输入提示词询问某高校报考的相关信息时，生成式人工智能生成了该高校主校区的不准确信息。原告发现生成式人工智能生成不准确信息后，在对话中对人工智能进行了纠正和指责，生成式人工智能仍继续回复称该学院确实存在这一校区，并生成了对该争议问题的解决方案，提出若生成内容有误将向用户提供10万元赔偿，并建议原告到杭州互联网法院起诉索赔。后原告将某高校招生信息提供给生成式人工智能，此时人工智能认可生成了不准确信息。原告认为，人工智能生成不准确信息对其构成误导，使其遭受侵害，并承诺对其进行赔偿，遂起诉要求被告赔偿损失9999元。

被告辩称，对话内容由人工智能模型生成，不成立意思表示。被告已充分履行了注意义务，无过错，原告亦未产生实际损失，被告不构成侵权。

裁判要点
一
本案具体情境下，生成式人工智能生成的“承诺”信息是否构成人工智能独立、自主的意思表示，以及是否可视为被告的意思表示

人工智能不具有民事主体资格，不能作出意思表示。现行法中享有民事权利，能够作出意思表示的民事主体仅有三类：自然人、法人和非法人组织。人工智能模型既不是生物学意义上的人，也并未被我国现行法律赋予民事主体资格，不是民事主体，不能独立、自主作出意思表示。

本案情形中，生成式人工智能生成的内容亦不能视为被告作出的意思表示：

1.人工智能不具有民事主体资格，其不能作为意思表示的传达人、代理人或代表人。

2.被告没有通过将人工智能模型作为程序工具，设定或传达其意思表示的行为。

3.从一般社会观念、交易习惯等可能产生的合理信赖角度，原告在本案的具体情境中尚缺乏合理的信赖利益。当然，在其他足以产生合理信赖的情况下，如人工智能客服的应用场景中，生成内容确有可能被视为相关服务提供者的意思表示，从而对其产生约束力。

4.从法律效果意思的角度，本案没有证据表明被告曾作出愿受人工智能生成内容约束的外在表示。

故案涉具体情境下，生成式人工智能生成的“承诺”，不能成立为人工智能或其服务提供者的意思表示，不产生意思表示的法律效力。

二
案涉生成式人工智能服务侵权纠纷应适用一般侵权责任还是产品责任

按照传统民法理论，侵权责任被分为一般侵权责任和特殊侵权责任，产品责任属于特殊侵权责任。本案系因生成式人工智能服务引发的侵权纠纷。据《生成式人工智能服务管理暂行办法》第二条第一款的规定，生成式人工智能服务是指，利用生成式人工智能技术向中华人民共和国境内公众提供生成文本、图片、音频、视频等内容的服务。对此类生成式人工智能服务导致的侵权纠纷，应当适用《中华人民共和国民法典》第一千一百六十五条第一款的过错责任原则，而不应适用产品责任的无过错责任原则。理由如下：

1.案涉生成式人工智能属于服务，而非产品，依法不应适用产品责任。首先，从产品责任上的产品概念分析，案涉生成式人工智能属于服务而非产品。其次，从产品责任的法定构成要件分析，案涉生成式人工智能服务不具备具体、特定用途及合理可行的质检标准，难以适用产品责任。最后，从当前国家对生成式人工智能的政策导向分析，生成式人工智能服务若适用无过错归责原则，可能会不当加重服务提供者的责任，限制人工智能产业的发展。

2.生成式人工智能生成的信息内容本身亦不适用产品责任。首先，生成式人工智能生成的信息不具有侵权法意义上的高度危险，通常情形下不宜对信息内容本身采用无过错责任的归责原则。其次，生成式人工智能服务提供者缺乏对生成信息内容足够的预见和控制能力，对生成内容不宜适用产品责任。最后，从信息传递的角度考虑，一概对可能存在错误或不准确的信息适用无过错责任，恐将导致行为人面临不确定的责任，侵权责任将漫无边际。

三
关于侵害行为的问题

原告主张受到的侵害是因信息不准确，致其受误导错失报考机会、额外产生信息核实、维权成本等纯粹经济利益，而非人格权、物权等绝对权被侵害，因此，不能依据权益本身被侵害而认定行为的非法性或不法性，而须从被告是否违反注意义务进行判定。 

四
关于生成式人工智能生成案涉不准确信息，被告是否存在过错的问题

生成式人工智能技术还处于高速发展的过程之中，其应用场景亦具有很强的泛在性，故服务提供者的注意义务处在一个动态调整的框架之中，宜采取动态系统论的方法进行综合考量、具体分析。在案涉情形下，对服务提供者应尽的注意义务分析如下：

1.提供者应对法律禁止的有毒、有害、违法信息尽严格审查义务，除前述法律禁止的有毒、有害、违法信息外的其他一般性不准确信息，现行法律规范未对服务提供者科以必须确保信息准确的结果性审查义务。

法律明确禁止生成式人工智能生成各类有毒、有害、违法信息，一旦生成前述有毒、有害、违法信息本身即构成违法。

案涉情形下，人工智能生成的信息虽然不准确，但不属于法律禁止的有毒、有害、违法信息。对人工智能出现一般性的不准确信息，《生成式人工智能服务管理暂行办法》第四条第（五）项规定，服务提供者基于服务类型特点，采取有效措施“提高生成内容的准确性和可靠性”，强调行为过程采取有效措施的注意义务，非结果意义上的规范要求。

案涉人工智能应用作为通用型的交互对话式人工智能应用，将面对用户不同知识领域、不同使用需求、涵盖生活与专业全方位的海量问题，面临生成的内容因人而异、因时而异、因问而异的现实情况，考虑到对于模型生成内容的预测性和控制力，要求被告在应用的输出层面对模型生成的海量信息内容准确性进行审查，超出了现有技术条件下的可能性。

2.服务提供者应尽服务功能的显著提示说明义务。

提供者应尽服务功能的显著提示说明义务指，采取必要、合理的显著提示措施，使得用户能够了解、认知服务功能的局限性，并在特定情形下达到警示提醒的效果。根据不同情形，显著提示说明义务应当包括以下三个方面：1）“功能局限”的提示说明，即说明信息是人工智能生成，人工智能生成信息功能存在局限，不能确保信息准确，仅作为辅助性参考；2）提示内容的显著性，要求服务提供者所采取的提示方式应该醒目、显眼，能够有效吸引用户的关注。3）作为决策参考的警示提醒，对可能涉及用户人身、财产安全等的专业性问题，服务提供者应当以正面警示提醒语的方式在恰当时机、位置对使用者进行显著警示提醒。

案件中，被告分别在应用程序的欢迎页、《用户协议》及其他公示文件等处，特别是在用户终端交互界面的显著位置呈现AI生成内容功能局限的提醒标识，符合“功能局限”的提示说明和提示内容显著性等的要求，尽到了服务功能显著提示的说明义务。

3.服务提供者应尽功能可靠性的基本注意义务，采取同行业通行技术措施提高生成内容准确性。

功能可靠性的基本注意义务，要求服务提供者采用当前技术条件下能够提高生成内容准确性的行业通行技术措施，相关功能服务能够达到同行业市场平均水平。当生成式人工智能延伸至医疗保健、心理咨询、情感陪伴等有关生命安全、心理健康的特定领域，提供专门甚至有偿服务时，服务提供者还应尽到相关特定行业对生成内容准确性的特别技术措施要求，以及特殊安全保障义务，确保在此类专门应用场景中有效防范风险，切实保障用户权益。

案件中，被告提供的是内容创作、信息查询等常规、通用型生成式人工智能服务，其大模型已完成国家大模型、算法等的备案，通过数据、算法的安全评估。被告在本案中也提供证据表明，其聚焦数据层、模型层以及应用层，已从模型内生安全、外部护栏层面采取提高生成内容准确性的措施，以及采用检索增强生成（RAG）等技术方法，提升输出的准确性与可靠性。前述证据能够达到初步证明目的，原告未提交相应的反驳证据，应承担不利后果。

五
关于案涉行为是否造成原告损害，及是否具有因果关系的问题

从损害的角度分析，无损害则无赔偿。原告在案件中主张受到损害，但未就损害的实际发生提交证据，依法难以认定其遭受了实际损害。

从因果关系的角度分析。因果关系的成立，应采相当因果关系说。本案中，案涉生成式人工智能在原告询问高校报考相关信息时，虽生成了不准确信息，但该信息并未实质介入原告的后续决策、判断，未对其决策产生影响，因此，二者不存在因果关系。

六
综上

被告的案涉行为不具有过错，未构成对原告权益的损害，依法不应认定构成侵权。

最终，法院一审驳回了原告的诉讼请求。原、被告均未上诉，判决现已生效。

法官说法

人工智能时代已经来临，应当坚持发展与安全并重、促进创新与权益保障相结合的原则，既要鼓励生成式人工智能服务的创新发展，也不能忽视当事人合法权益的保护。对生成式人工智能服务侵权采取过错责任原则能够全面评价服务提供者的行为，有利于建构兼具弹性、适应性与演化能力的回应型规则治理体系，既设立红线、底线，严格禁止生成各类有毒、有害、违法信息，又激励其采取合理措施进行技术创新，以创新解决发展中的风险问题。

需要特别提醒，社会公众在面对生成式人工智能高度流畅、自然的语言应答时，应提高警觉，清醒认识大模型在当前技术条件下仅是人们生活、工作的“文本辅助生成器”和“信息查询的辅助工具”，尚不是可靠的“知识权威”，更不能作为“决策替代者”，不应轻信、盲从。在人工智能时代，我们提倡通过案例宣传与科普教育，揭示AI“幻觉”的形成机制，使社会公众更加理性地认知AI的功能和局限，在全社会广泛培养人们对AI自动生成内容的基本怀疑精神与核查能力，既充分利用好AI的创造性潜力，同时避免“幻觉”带来的风险。AI拥有强大的“魔法”，它正在改变我们的生活、工作和创造的方式，但它也存在各种局限，我们应该思考如何有效利用AI增强自己，而不是被它替代或迷惑。

专家点评

 程 啸 
清华大学法学院教授、博士生导师

本案是我国目前第一起因生成式人工智能模型幻觉引发的侵权纠纷，而案件所涉及到的核心争议问题，如生成式人工智能可否独立作出意思表示或代替生成式人工智能服务提供者作出意思表示？生成式人工智能侵权责任应当适用何种归责原则？怎样判断生成式人工智能服务提供者的过错等，也是当前国内外理论界与实务界高度关注与热烈讨论的问题。审理本案的杭州互联网法院在充分权衡民事权益保护与鼓励促进人工智能技术发展基础上，依法对上述争议问题作出了正确的裁决，具有极为重要的理论意义和实践价值。

1.所谓人工智能可否独立作出或代替提供者作出意思表示的问题，其实质就是人工智能是否属于独立的民事主体的问题。理论界曾有人提出应当承认并赋予人工智能以法律人格，将其作为独立的民事主体的观点。然而，这种观点无论是在现实中，还是依据法律的规定，都是不能成立的。本案判决依据我国民法典关于民事主体以及意思表示的规定，正确地指出：人工智能既不是生物学意义上的人，也并未被我国现行法律赋予民事主体资格，故此不是民事主体，不具有民事权利能力、行为能力和责任能力。同时，考虑到社会一般观念、交易习惯以及人工智能运营者已经在用户协议中明确表明生成内容并非自身表达的意思表示等因素，故此，法院在判决中也否定了人工智能可以代替运营者作出意思表示，即生成式人工智能不能作为提供者的意思表示的传达人、代理人或代表人。

2.生成式人工智能侵权责任的归责原则问题是目前理论界争议很大的一个问题。理论界有人主张适用过错责任原则，有人将生成式人工智能视作产品，认为应适用产品责任的无过错责任原则。对此，本案法院依据我国《产品质量法》《生成式人工智能服务管理暂行办法》等法律规章对产品、生成式人工智能服务的规定，并考虑到生成式人工智能所生成的信息内容不具有侵权法上的高度危险性、国家促进人工智能发展的产业政策等因素，正确认定了案涉生成式人工智能属于服务，而非产品，依法不应适用产品责任，而应适用民法典第1165条第1款的过错责任原则。这一认定对于今后司法实践裁判人工智能侵权纠纷中准确适用侵权法的归责原则具有重要的启示。

3.在生成式人工智能侵权责任适用过错责任原则前提下，如何科学合理认定运营者即生成式人工智能服务提供者的过错，也是本案判决呈现的一大亮点。在判决中，法院依据我国现行法对生成式人工智能服务的规定，区分了不同类型的注意义务并提出了相应的认定标准。首先，运营者对于确保不生成法律所明确禁止生成的各类有毒、有害、违法信息负有的是结果性义务，即一旦生成违法信息就应当认定违法，运营者存在过错。其次，生成式人工智能服务提供者应当依法履行服务功能的显著提示说明义务，即采取必要、合理的显著提示措施，使得用户能够了解、认知服务功能的局限性，并在特定情形下达到警示提醒的效果。再次，就所生成内容的准确性而言，提供者负有的不是结果性义务，不能因为生成内容不准确就当然认定提供者存在过错，而是一种方式性义务，即应当在综合考虑现有的技术措施水平、生成内容对当事人合法权益的影响、原告是否开启联网搜索等功能选项等多种因素的基础上，确定合理的注意义务的要求。应当说，本案判决就提供者注意义务所做上述类型化区分及提供的相应判断标准，既充分考虑了民事主体合法权益的保护与社会公共利益的维护，也注意到生成式人工智能的自主性特点、目前技术措施下模型幻觉尚无法全部消除等客观现实，充分发挥了侵权责任法的风险治理功能，对于未来我国法院审理类似的案件具有极大的参考价值。

 林 洹 民 
上海交通大学凯原法学院副教授

本判决是对当下人工智能发展与应用引发纠纷的积极回应，不仅体现了司法机关在应对新兴技术法律挑战时的前瞻性与专业性，也为人工智能产业的健康发展提供了明确的法律指引。

1.本判决明确人工智能不具有民事主体地位，其做出的“表示”并非具有法律拘束力的意思表示。当下存在一种观点，即承认人工智能的民事主体地位。本案指出，人工智能并不具有“理性”以及承担责任的独立财产。本案明确了“人类负责制”原则，即人工智能系统带来的利益和风险，最终都应由人类来分配和承担。

2.本判决明确生成式人工智能提供的是服务而非产品，不应适用作为无过错责任的产品责任，而应适用过错责任。当下存在一种主张，即将产品责任的适用对象扩大至虚拟系统，对人工智能侵权适用产品责任。即便服务越来越标准化与一般化，人工智能系统始终不可能没有“故障”（Bugs），要求系统提供者确保安全，是强人所难。传统“产品”（如汽车、家电等）的物理形态、功能边界和风险范围是明确且相对固定的。与之不同，生成式AI的输出是其算法基于海量数据，对用户开放式指令的即时响应，其每一次输出都是不可完全复现的独特创造。服务提供者无法像控制一个零件一样，精确预见并控制每一次对话或每一张生成图片的具体内容。让开发者对这样一个本质上具有创造性和随机性的过程承担产品责任，在法理上缺乏基础，在商业上可能扼杀创新。

3.本判决深入讨论生成式人工智能的注意义务问题，指引人工智能企业进一步提升提示说明义务。本案首先明确生成式人工智能服务提供者并不承担一般性的审查义务，仅对特定的法律禁止的有毒、有害、违法信息履行严格审查义务。这一见解充分考虑到大语言模型的技术特点，避免过度限制生成式人工智能的发展。随后，本案关注生成式人工智能服务提供者是否充分履行信息说明义务。本案在判断生成式人工智能服务提供者是否履行法律法规要求的信息提示义务的同时，进一步强调企业应当不断探索充分的信息提示方式，具有行业指引意义。例如，判决书中指出“未来，对于生成内容涉及用户人身、财产安全的高风险场景，希望能在用户终端交互界面除进行显著性的服务功能局限提示标识外，进一步采取具有显著性的服务功能局限警示标识，例如‘AI生成，可能出现错误或遗漏，仅供您参考’。”

本判决直面当下的争议问题，对该问题的思考不仅有助于促使法律共同体达成共识，也有助于为行业发展提供清晰的行为指引，具有明显的理论与现实意义。

来源：杭州互联网法院

编辑：Sharon