作为引领第四次科技革命的战略性技术，人工智能给社会建设和经济发展带来了重大而深远的影响。但作为前沿创新技术，数据隐私、技术滥用等伴生安全问题也正给社会公共治理带来严峻挑战，其中围绕“深度伪造”的伦理和法律争议一直是公众高度关注的热点话题。

“深度伪造”是指利用深度学习算法实现音频和视频的模拟和伪造，包括语音模拟、换脸、表情操纵等。2019年国内红极一时的换脸软件“ZAO”就是公众最为熟知的应用，用户只需上传一张照片，就能秒变“戏精”，甚至还能与偶像同台飙戏，效果极其逼真。不久前，短视频领域出现的“蚂蚁呀嘿”热潮，其基础也是深度伪造技术。

凭借极强的娱乐性与传播性，“深度伪造”技术一路走红。但同时，其“低门槛、高效率、高质量”的特性，使其被大规模滥用于伪造身份、混淆视听，以实现网络欺诈、虚假宣传与操纵舆论等目的。

针对这一威胁与挑战，7月9日，北京瑞莱智慧科技有限公司首席执行官田天在上海世界人工智能大会演讲时明确指出，人工智能产业正进入高质量发展阶段，以深度伪造为代表各类安全问题层出不穷，亟待解决。这次大会期间，瑞莱智慧也发布了基于第三代人工智能的DeepReal深度伪造内容检测平台，具备工业级检测性能，能够快速、精准地对多种格式与质量的图像进行真伪鉴别，为遏制和防范深度伪造技术的大规模滥用提供有效技术支撑。

一、低门槛高效率放大了潜在威胁

与传统图像视频处理技术相比，深度伪造技术具有“门槛低、效率高、质量好”的特点，所以它也被探索用于影视、医疗、虚拟现实等商业，比如在影视后期制作中，表情操纵、全脸替换等深度合成技术可以被用于影视剧本地化嘴型修改、虚拟IP打造等场景中。

然而，与正面效应相比，这些特性也同步放大了潜在威胁和安全隐患。

当前，深度伪造的技术门槛正大幅降低，网络上充斥着大量伪造教程和开源可用的计算机程序，即便是不具备专业算法能力的普通用户，也可以在很短时间内轻松上手。尤其依托深度学习算法特性，在海量图像和视频数据的驱动下，深度合成技术不断演进迭代，仿真精度不断得到提升。所以，制作一段高逼真度的虚假音视频成本极低，却可以借助社交媒体等平台短时间风靡互联网。对于这样一种技术，如果不进行规制，无疑将产生可怕的后果。

二、危害社会利益乃至国家安全

深度伪造技术的大规模滥用正侵害到社会公众的合法权益。比如深度伪造技术最常见的非法运用方式，将一些知名歌星、影星等公众人物的脸“移花接木”到色情明星身上，伪造色情片非法牟利，或者是伪造恶搞视频，这对个人名誉权与肖像权构成严重侵害。

其次是公众财产安全，不法分子可以利用漏洞劫持手机识别摄像头，利用照片活化、表情操纵等深度伪造技术冒充机主，进而对机主的微信好友实行转账诈骗。同样的，电信诈骗中也有类似利用“语音伪造”技术的案例。

不仅如此，深度伪造还将会对社会安全和国家安全造成威胁。例如，借助互联网平台捏造虚假新闻、炮制政治谣言，深度伪造技术大大增加了网络内容监管的复杂性，也带来了社会信任危机与网络政治安全风险。在病毒式传播的深度伪造视背后，可能蕴藏着操纵社会舆论、激化社会矛盾与扰乱正常社会经济秩序等系统性的危害。

“比如公安机关、司法机关的图像鉴别工作，深度伪造技术的出现将导致举证工作存在风险。”田天补充道，“深度伪造技术也可能成为国家之间发起虚假信息战争的最新武器，抹黑政治人物、伪造政治制度和破坏国家间关系，甚至在未来军事战场上损毁特定军事或情报行动。在这种背景下，国内外政府高度重视，都出台了相关的监管制度。”

三、国内外政府相继出台监管政策

为防范深度伪造技术所造成的危害，全球各国政府积极推进立法管制。比如美国的《2019年深度伪造报告法案》，欧盟的《通用数据保护条例》、《反虚假信息行为准则》和德国出台的《社交媒体管理法》等都对相关的内容进行了规制。

我国也针对深度伪造的问题出台了相关监管办法。2019年11月，网信办发布《网络音视频信息服务管理规定》，指出自2020年1月1日起，AI造假视频不得随意发布。其中相关规定主要有四条:“按照国家有关规定开展安全评估”、“以显著方式予以标识”非真实音频信息、不得利用AI造假技术发布虚假新闻、部署AI伪造音视频鉴别技术和健全辟谣机制等。

2020年5月，《中华人民共和国民法典》通过，其中人格权编明确界定“禁止利用信息技术手段伪造等方式侵害他人的肖像权和声音”，这一系列的政策措施为深度伪造技术划定了应用边界。

值得注意的是，2021年3月，针对部分语音社交软件和涉“深度伪造”技术的应用未履行安全评估程序，国家网信办、公安部指导各地网信部门、公安机关依法约谈了11家企业，督促其认真开展安全评估，完善风险防控机制和措施。不同于以往的事后监管，此次安全评估工作和约谈给有关的互联网新技术新应用提前划“红线”，“事前规制”有利于企业及时发现安全隐患，整改安全问题。

四、AI存在天然的“局限性”

关于人工智能安全性的担忧，一方面需要依靠法律法规和政府监管来约束，另一方面，需要从源头加强安全评估，提升鉴别技术等能力，借助技术手段提前布局。

田天表示，以深度伪造为代表的安全问题，正是目前人工智能产业当前所面临的瓶颈。人工智能产业正经历从高速增长向高质量发展的转变，一方面产业期待进一步提升，金融、医疗等更复杂的高价值场景的应用需求不断增加，智能化场景从单一感知向多元认知发展；另一方面，各种安全问题的爆发，要求在追求性能效率的同时关注安全性的提升与保障。