“三只羊卢某”网传录音系大模型伪造，AI安全问题何解？

以“三只羊”为事件核心的舆论仍在继续发酵，这次是由录音伪造引起的AI安全顾虑。

此前，三只羊网络科技有限公司因直播带货的“香港美诚月饼”涉嫌虚假宣传、欺骗消费者等问题引发舆情风波。同一时间，网上一段流传的“三只羊卢某某”录音为这家MCN招致更多批判声音。

该录音显示为“三只羊卢某某”在酒后的一段言论，内容牵连三只羊旗下多位女主播，整体呈现卢某面对市场与消费者持有的傲慢态度，以及对相关人士的不尊重表达。

9月26日晚，合肥市公安局高新分局通报，该局接三只羊公司报警称，网上传播涉卢某某的音视频不实，严重侵害其合法权益。经过侦查，9月22日晚，该局将犯罪嫌疑人王某某（男，25岁）抓获，并在其电脑、手机和制作AI音频的网站中发现伪造相关音视频的证据；结合其供述、调查取证，并经部、省专业机构检验鉴定，认定报案所涉网传音视频系伪造。

随后，9月27日，一家名为Reecho睿声的AI公司发布声明称，近日，公司收到合肥警方调取证据通知书，针对网络上广泛传播的“卢某录音门”事件所涉及的音视频部分，经与合肥警方配合查实，确系嫌疑人使用该司自主研发的AI配音大模型平台，由卢某此前直播片段的约30秒录音进行克隆，并通过文本进行生成。

上海大邦律师事务所高级合伙人游云庭对界面新闻记者表示，在上述案件中，嫌疑人王某某涉嫌诽谤罪，行为特征是以虚构的事实毁坏他人声誉。卢某可以要求发布内容的网站删除侵权内容，并且在刑事调查结束，取得相应法律文书后民事起诉侵权者。

随着人工智能技术的飞速发展，AI技术已经渗透到社会生活的各个角落，但随之而来的AI安全问题也日益凸显。在这背后，以AI技术对他人的音视频素材进行“克隆”并恶意使用成为AI安全问题的重灾区。

目前市场上的AI大模型音视频生成产品涵盖了多个领域，包括但不限于视频内容创作、音频处理、角色动画合成等。这些产品一方面从效率层面为大量企业和个人用户带去了便利，但另一方面也成为不法分子的牟利工具。

今年以来，全国各地已经发生多起“AI换脸”导致的诈骗案件。其中，一起发生在香港的诈骗案件涉案金额高达2亿港元，而犯罪嫌疑人正是使用Deepfake技术“AI换脸”和AI音频合成了一场“高管会议”。

面对这些容易紊乱视角或直接导致财产损失的AI安全问题，除了公众层面的每一位个体都对接受的音视频内容提高警惕性与分辨能力，在产品层面，平台如何从技术与法律的角度预防负面事件的发生也同样重要。

就前述案件中提供技术的公司是否要担责的问题，游云庭表示，还是要看该公司是否履行平台的合规责任。“根据互联网信息服务深度合成管理规定，如果履行了合规义务的，我觉得他们责任比较小，否则的话会有麻烦。”

首先，该公司需要进行算法备案，并在实际运行当中使用的是备案算法。其次，公司应该对使用的用户身份有认证，如果没有，公司也会存在法律风险。另外，平台应当对用户进行提示，要求用户不得利用平台的服务进行违法行为。

ReechoAI睿声官网显示，其是由深圳市言域科技有限公司提供的AI语音大模型技术产品及AI有声内容社区。经界面新闻记者在互联网信息服务算法系统查询，“深圳市言域科技有限公司”这一主体旗下暂无相关备案记录。另外，其关联主体“深圳市呦络科技有限公司”也无备案记录。

在技术角度，游云庭认为需要判别一个问题，即对于用户生成的可能涉嫌违法的内容，这些内容根据现有的识别违法和不良信息的特征库，是否能审核出具有违法属性。“如果明显涉嫌违法的，但他们没有审核出来的，也会存在问题。”游云庭表示，但更大可能性在于用户内容难以完全落实审核，这种情况下平台的责任也会较轻。

此外，平台应当对用户生成的内容进行“AI生成”等相关标注。但由于这类生成内容被标注后的删除操作也相对简单，AI内容的辨识问题仍然任重道远。

本文来自“界面新闻”，记者：伍洋宇，编辑：文姝琪，经授权发布。