今日凌晨,一起由AI技术引发的舆论风波再次将AI生成内容的真实性问题推向了风口浪尖。
Reecho 睿声公司官微发布声明称,“卢某录音门” 事件中的嫌疑人王某使用了该公司自主研发的 Reecho 睿声 AI 配音大模型平台,对卢某的直播片段进行克隆,并通过文本生成伪造音频。警方深入调查发现,犯罪嫌疑人王某某利用从互联网下载的音视频资料,杜撰脚本,借助 AI 工具生成假冒音频,再用视频软件合成音视频并在网络发布,最终引发了一场舆论风波。
来源:合肥市公安局警方通报
此类事件并非个例,近年来随着AI技术的发展,其应用范围不断拓展,从文本到图像,再到音频和视频,AI的“创作力”正在改变信息传播的方式。但同时,这也带来了新的挑战——如何确保这些内容的真实性、原创性和合规性成为了亟待解决的问题。
历史上已有多个案例显示了AI技术的双面性,如Cambridge Analytica公司利用社交媒体数据影响2016年美国总统选举,以及利用深度学习技术制作虚假视频(Deepfake)的行为,包括今年,犯罪嫌疑人使用Deepfake技术“AI换脸”和AI音频合成了一场“高管会议”在香港诈骗,案件涉案金额高达2亿港元。这些案件都给社会带来了不同程度的影响。
以AI之矛,攻AI之盾
AI 生成内容(AIGC)已深入生活各方面,涵盖文本、图像、音频和视频。其 “创作力” 以前所未有的方式改变着信息传播格局,能根据输入文本自动生成相应内容,并通过不断学习和优化提升质量与多样性。这种全新创作模式极大丰富了信息传播渠道与形式,带来丰富多彩的视听体验。然而,这些产品虽在效率层面为众多企业和个人用户带来便利,却也成为不法分子的牟利工具。
如何确保这些由AI生成的内容的真实性、原创性和合规性,成为了亟待解决的问题。由于AI技术的复杂性和隐蔽性,伪造内容往往难以被肉眼直接识别,这给信息的真实性验证带来了巨大困难。同时,AI技术的普及也加剧了版权侵权的风险,如何保护原创作者的合法权益,防止AI生成内容的滥用与侵权,成为了社会各界关注的焦点。
面对AIGC带来的挑战,社会各界开始积极探索有效的监管和检测手段。Deepfake检测工具、Forensic视频分析软件、Audio Forensics工具等应运而生,它们通过分析音视频内容的生物特征、元数据、编码痕迹等技术指标,尝试识别并区分真实与伪造的内容。
微软、Truepic等科技企业也推出了各自的解决方案,从源头到终端全方位保障媒体内容的真实性。Microsoft Video Authenticator服务通过分析视频帧间的细微差异,有效识别视频的真实性;而Truepic则通过加密验证技术,确保拍摄内容的原始性和不可篡改性。
随着AI技术的不断进步,检测与反检测之间的较量也日益激烈。一种观点认为,未来AIGC将趋于完美,难以被现有技术所区分;而另一种观点则持乐观态度,认为随着检测技术的不断升级,终将实现对AIGC的有效识别。这一争论不仅反映了技术发展的复杂性,也凸显了建立有效监管机制的重要性。
为了应对日益严峻的利用AI作恶的行为问题,各国政府和机构纷纷采取行动。一方面,加强法律法规建设,明确AI技术的使用边界和法律责任;另一方面,加大对违法行为的打击力度,提高违法成本。
9 月 14 日,国家网信办发布《人工智能生成合成内容标识办法(征求意见稿)》。推动 AI 标识技术,为其赋予 “数字身份证” 可实现全程追溯与验证,有助于版权保护等。《征求意见稿》明确文本、音频、图片、视频等需添加显著提示标识,未标识造成严重后果将被处罚,以保障办法实行,促进人工智能产业健康发展。
在AI 技术与检测手段的不断较量中,未来究竟是 AIGC 完美到无法被识别,还是检测技术终将占据上风?让我们拭目以待。