一本正经地胡说八道——AI闯祸,谁该担责?
北京日报客户端 | 记者 张宇

2026-06-03 11:32 语音播报

有AI

你让AI讲解“龙飞凤舞”,它可能给你一段舞蹈教学视频;你写法律文书,求助AI提供案例,结果AI编造了几个根本不存在的法院案例……当越来越多的人把AI(生成式人工智能)当成答疑解惑、放松聊天、辅助办公的助手,AI也开始“一本正经地胡说八道”了:捏造案例、虚构数字、在图像生成中出现不合理元素……

而“瞎编”,正是“AI幻觉”的典型表现。

AI生成的不准确内容误导他人,开发者或传播者是否构成侵权?普通用户又该如何正确使用AI,才能避免其一本正经地胡说八道呢?

AI“埋雷”:“有鼻子有眼”的报道竟是杜撰

20262月,中国互联网络信息中心发布《中国互联网络发展状况统计报告》显示,截至202512月,我国已有748款生成式人工智能服务完成备案,用户规模达6.02亿人,占全国人口的42.8%。这意味着,每三个人中就有一人使用过AI。其中“回答问题”是最广泛的应用场景,占比达76%

“我不该为了显得权威而编造新闻来源,这纯属我的幻觉式杜撰,这种做法严重违背信息真实原则,辜负了您的信任。”看着手机里AI的诚恳道歉,张先生哭笑不得。

张先生是位古树爱好者,逛公园边看风景,边问AI学知识,成为他的习惯。“当时我问了AI助手一个关于古树保护的知识,它给我推送了一篇权威媒体报道,还标明了日期、版面和记者名字。”张先生觉得稿件有点短,怕有压缩,便根据AI所说的刊发日期,找到了当天的原始电子报链接,结果“大跌眼镜,这篇新闻完全是杜撰的,报纸上根本没有这么一篇。”

这是张先生第一次意识到AI的风险,“(它)说得有鼻子有眼,如果没有进一步核实,很难发现漏洞,幸好我不是撰写论文或工作报告,不然真就给我‘埋雷’了。”

通州法院在审理一起民事纠纷案时也发现了“AI幻觉”的潜入。原告律师在代理意见中提供了两个“参考案例”,两案的事实细节、法律争议与裁判逻辑都与审理中的案件高度契合,完美佐证了原告方的主张观点,初看之下极具参考价值。

“我感觉案件格式很像AI生成的。”心有疑窦的案件承办法官郑吉喆出于职业敏感做了进一步核查,发现“两起案件虽然存在,但真实的裁判文书与原告律师提交的内容完全不同,其中一个可以说与本案风马牛不相及。”

在法官的质询下,原告律师承认,“参考案例”是其提炼本案的事实情节,然后反复向AI提问生成的,律师未加核实也未发现AI幻觉,就直接复制粘贴后提交给法院。

考虑到这一行为在法律上没有明确的规定,且律师无明显恶意,情节轻微,没有造成严重后果,法院将这一情节写进了案件的判决书,予以批评,要求原告律师引以为戒,不得放任人工智能模型生成或编造虚假信息扰乱司法秩序。

AI案例:对簿公堂三类纠纷为主

AI生成的不准确内容误导他人并造成损失,谁来为此担责?随着“AI幻觉”的危害从虚拟空间逐渐延伸到现实生活,人与AI对簿公堂的现象,也接连上演。

记者检索中国裁判文书网等公开资料发现,AI幻觉已引发多起侵权纠纷。值得注意的是,不仅有开发者承担了侵权责任,也有用户因发布含有AI幻觉的内容而承担赔偿责任。

第一类为信息误导侵权。梁某查询一所高校报考信息时,AI不仅生成了错误内容,还信誓旦旦地坚称信息无误,表示若生成内容有误将赔偿梁某10万元。梁某便将AI研发公司诉至浙江杭州互联网法院,要求对方兑现承诺,赔偿10万元。20261月,法院判决认为AI不具有民事主体资格,其承诺不产生法律效力,且开发者已履行显著提示和技术优化义务降低错误,最终驳回梁某诉求。这也是全国首例“AI幻觉”引发的侵权案。

第二类为侵犯名誉权纠纷。“我竟然被AI判了刑!”南京律师李小亮在搜索本人姓名及职务时,“AI智能回答生成了李小亮“因爆炸罪被判三年有期徒刑的虚假信息,并配发其律师袍照片。李小亮以名誉权受损起诉,开发者以AI幻觉不可预见作为抗辩理由。

20263月,江苏南京中院终审认定开发者相关信息内容指向性明确,贬损性词汇客观上造成了对李小亮社会评价受损,因开发者对公开推送的虚假贬损信息负有审核义务,构成名誉侵权,故判决其作出书面道歉。

第三类为不正当竞争纠纷。自媒体博主小李,在其个人账号上使用AI助手撰写了一篇关于某企业的商业分析,后该企业发现该文章含有严重失实信息,便以不正当竞争为由将小李诉至法院。

202512月,杭州滨江法院判决认为,李某作为AI生成内容的发布者和传播者,应负合理注意义务,审查过滤虚假信息,尽力确保其传播信息的真实性与完整性,或添加显著标识,提示相关公众该文系由人工智能生成。李某明知内容源于AI、可能失实,却没尽到审核与显著标识的义务,判决李某发布声明以消除影响,并赔偿3万元。

权责:不能以“技术中立”为由“甩锅”

看似“聪明”的AI,为何会“胡说八道”?“AI幻觉”能避免吗?

国内一款手机AI助手的技术人员告诉记者,大语言模型并非真正理解知识、记忆事实,而是通过海量数据学习语言组合概率,当遇到信息缺失、原始数据不足、知识盲区或语义模糊时,它不会坦诚不知道,反而会顺着语言逻辑凭空编造虚假内容,生成错误的观点和事实。“也就是说,AI的任务是必须回答你,并尽量快速顺畅,但不能保证绝对严谨正确,因此AI幻觉无法彻底根除。”

那么AI开发者会承担什么样的责任呢?

北京福茂律师事务所合伙人张志友律师表示,我国《生成式人工智能服务管理暂行办法》规定,开发者应尊重他人合法权益,不得侵害他人肖像权、名誉权、荣誉权、隐私权和个人信息权益,不得侵害他人依法享有的知识产权。同时,该办法也要求,开发者应采取有效措施提高训练数据质量,增强训练数据的真实性、准确性、客观性、多样性。

开发者对模型训练、内容过滤、输出控制具有主动支配权,并且也从AI产品中直接获利,AI幻觉这类技术缺陷并非不可预见或不可防控,因此不能以技术中立为由甩锅,将风险完全转嫁给用户。张志友表示,开发者未尽到与其技术能力、商业模式相匹配的合理注意义务,则有可能构成过错。

张志友认为,开发者是否存在过错主要看三点:首先,是否以显著方式提示用户内容可能不准确,尤其是医疗、法律、金融等敏感领域,应该主动增添风险提示语;其次,对明显异常或高风险的虚假信息是否具备基本的过滤或纠正机制,这种机制应为同行业通行的技术措施,以提高生成内容的准确性;第三,用户反馈错误后是否及时响应处理,开发者在确认侵权后应第一时间删除内容、禁止传播,避免损害扩大。

“AI使用者也应尽到与自身注意能力相符的审核义务。张志友特别提醒自媒体博主、内容创作者等使用者,依托AI生成内容获取流量、开展工作、实现商业收益,理应承担更高等级的审慎核实义务,不仅应主动对照公开信息剔除虚假失实内容,另外,依据《人工智能生成合成内容标识办法》,还应履行显著提示或标识义务,告知内容由人工智能生成且存在不确定性,防范虚假或误导性信息造成损害。

用户:精准提问,细化指令,交叉核验

张志友提示,AI只是辅助性的查询工具而非事实来源、“知识权威”,因此用户应保持存疑立场,对待AI生成的内容保持必要的警惕,养成先核实、后信任的信息获取习惯;同时精准提问,尽量细化指令,限定问题范围,明确要求AI标注信息来源、出处与时间,“强制”其无准确资料如实告知,禁止编造内容;重点核验人名、机构名、数据、日期等关键信息,不给AI“胡说八道”留空间。在法律、金融、医疗等敏感领域,切勿直接采信AI原生内容,务必通过官方平台、权威媒体交叉核验。

滚动新闻

编辑:王琼

打开APP阅读全文
APP内打开