登录 注册 上观新闻
当前的位置>>听他咋说>>竟用人工智能生成“上海中山公园地铁站捅人”视频!AI造假怎么管?
竟用人工智能生成“上海中山公园地铁站捅人”视频!AI造假怎么管?
发布时间: 2024-06-21 07:20:59
作者: 任翀
鼓励开发者从技术研发、产业应用、制度设计等各方面加强合作,形成AI谣言治理的组合拳。

6月20日,上海警方通报表示,两名品牌营销人员为蹭热度,编造了“中山公园地铁站捅人”等不实信息,相关人员已被警方行政拘留。通报中,有个细节引人注意:一名造假者使用了AI软件生成视频技术,编造了地铁行凶的虚假视频等不实信息。

这已经不是人工智能技术第一次出现在谣言中。一段时间以来,在不少地区警方通报的造谣传谣事件中,都有“AI软件”“大模型”“自动生产”等字眼。这些谣言内容有差异,但本质没有不同:造谣者利用人工智能技术炮制谣言,而且有文字、图片、视频等多种形式。

更严重的是,有些AI软件的“造谣效率”非常惊人。比如,出现了“一天能生成19万篇文章”的造假软件。

据查获该软件的西安警方介绍,用户从专门售卖新闻稿件的网络平台购买大量的真实新闻稿件,形成稿池;再通过造假软件,输入自己的需求,由软件自动生成文稿。该软件将真实的新闻稿件拼凑、前后段落颠倒、同义词替换后,能形成一篇篇反映同一件事情但类型不同的文章。

每天由这款软件自动生成的文章数目相当惊人,大约有19万篇;警方还提取了该软件7天保存的文章,发现总量超过100万篇,涉及时事新闻、社会热点、社会生活等各方面。不论是软件的开发方还是使用方,都不核实也没有能力核实相关文章的真伪。

那么,那么多假新闻有什么用呢?原来有专门的“谋利账号”。相关账号的使用者有组织地将这些文章发布到相关平台,再利用平台的流量奖励制度等获利。目前,该案涉及的账号已被平台查封,有关软件和服务器也被关闭,警方还在对案件深挖。

以上案例说明,人工智能技术无疑是把“双刃剑”,在助力各行各业的同时,也带来了批量造假的副作用,更导致“造谣张张嘴,辟谣跑断腿”的矛盾越发突出,甚至已经出现了“跑断腿都来不及辟谣”的新困境。

在这种情况下,只有源头治理,才能减少谣言的数量。从实践看,除了强化平台治理,还应当强化人工智能“科技向善” 原则,在各种模型和软件的研发和应用中,将防范谣言、治理谣言考虑在内。同时,有必要加大“技术打败技术”的研发进程,将人工智能辟谣引入谣言治理。

一方面,平台应当加大审查制度。目前,很多平台都已经明确,要求用户对人工智能生成类内容加以标注,并对包含虚构、演绎等环节的内容,也要明确加注虚构标签。对于违规的账号,会采取“封号”等举措。

不过要注意的是,封号”虽然快捷、直接,但已然是谣言传播的事后管理方式。若要切断谣言传播源头,有必要推出更有效的事前和事中防范措施。比如,账号注册核验、动态巡查、调整流量分成制度等,这样才有助于防患于未然。

另一方面,应当明确技术开发者、应用者的谣言治理责任。

就那些造假软件或应用而言,它们的依据是海量的真实的新闻稿件、视频画面,导致AI生成的谣言很难被识破,核查的难度也非常高。所以,部分大模型开发者表示会通过后台设置的方式,对通过大模型生成的内容打上水印,告知用户。

但从实际看,部分小的软件开发商,以及那些专门开发“AI造假”软件的应用者,不仅不会设置标签,而且想方设法去除标签、绕开监管。这就意味着仅靠模型或软件开发者的自律,无法解决AI造假的难题。这个时候,有必要明确技术应用者及软件开发者的责任。对那些默许、放任甚至故意编写软件造谣传谣的人员,严惩不贷。

最后,不妨在谣言治理中引入人工智能技术,以“技术打败技术”。

以AI生成虚假新闻为例,这类假新闻的文风非常贴近真新闻,仅靠人工辨别,很难发现漏洞并开展辟谣。但是,现有的人工智能技术已经有能力“一目千行”“一目万行”,从海量真实新闻中发现造假文章的拼凑痕迹。如果有对应的模型,无疑能及时填补人工核查的缺陷,快速有效识别AI造假。

随着AI生成技术的普及,信息伪造的门槛越来越低,需要审核的信息越来越多。这个时候,迫切需要“科技向善”的利用,鼓励开发者从技术研发、产业应用、制度设计等各方面加强合作,形成AI谣言治理的组合拳。

分享至
(0) (0)
上海辟谣 版权所有 所有文章均为上海观察所有 不得转载 保留所有版权

评论

网友评论

解放日报·上观新闻 出品
上海市互联网信息办公室 监制
 
辟谣联盟
注册
手机号码

密       码

至少包含字母大小写和数字,最短6位字符,最长18位,区分大小写。

确认密码

验  证  码

阅读并接受《用户协议》
找回密码
手机号码

验  证  码

新  密  码

至少包含字母大小写和数字,最短6位字符,最长18位,区分大小写。

登录
账   号:

密   码:

验证码:

忘记密码?