今年上半年,“华山医院前院长张明远客死洛杉矶”的消息在网络上广泛流传。但经过查证,这则消息被证实为AI生成的假新闻。
该消息在多个微信群传播,甚至有垂直医疗社区也发布了相关内容。抖音生态治理团队在核查过程中发现,大量自媒体发布的信息相似度异常高,初步判断具有AI编造的痕迹。
随后,治理团队通过查询华山医院官网、海外信息源等方式确认该消息不实,并迅速采取处置措施。类似事件在今年频繁出现,例如“每20个80后有1人去世”“上海退休教授靠阳台核电池供电”“某超一线明星在澳门豪赌”“陈奕迅去世”等。
AI生成内容的高拟真度与传播性,使得网络谣言治理面临新挑战。9月1日,《人工智能生成合成内容标识办法》正式施行,要求AI生成内容应包含显式和隐式标识。
抖音、快手、微信公众号、微博、百度等平台相继上线内容标识功能。显式标识帮助用户辨别AI生成内容,隐式元数据标识则有助于内容溯源。
生成式AI的普及降低了内容生产门槛,使得新闻事件类谣言更具传播力。此前的谣言多围绕健康科普类话题,利用老年人信息甄别能力较弱的特点传播,而AI制造的谣言则更复杂、更具欺骗性。
以5月初协和“4+4”事件为例,微博确认“肖某胸腔镜下肺叶切除术手术经过”信息为AI编造,相关账号未进行AI内容标识,导致大量用户误解。平台已对违规账号进行禁言处置。
西藏定日县地震发生后,一张AI生成的“小男孩被埋图”被关联至地震事件传播。抖音生态治理团队发现图片中存在六个手指等AI生成痕迹,但多数用户未察觉。
AI制造的假新闻还常常无中生有,如“四川滑坡事件中有一男子笑得那么开心”“L3级自动驾驶判决车企担责70%”等,均在今年引发舆论关注。
相比人工制造的谣言,AI生成内容细节更丰富,常包含图文、视频相互印证,欺骗性更强。平台虽能快速下架谣言,但辟谣信息传播效果有限,多数用户并未看到。
清华大学新闻与传播学院副教授陆洪磊指出,生成式AI正在重塑谣言传播生态,使传统辟谣手段难以应对。
目前平台治理谣言的难点在于捕捉潜在不实信息风险及核实真实性。抖音生态治理人士表示,文字内容治理中,AI生成内容与真实内容难以区分;图像和视频内容治理中,AIGC瑕疵越来越少,肉眼难以分辨。
抖音已升级AI内容标识功能,对疑似AI生成内容添加“作品含AI生成内容”或“疑似使用了AI生成技术,请谨慎甄别”的提示。同时探索在搜索场景推出辟谣卡、定向推荐辟谣视频等手段。
微博探索对未标识AI生成内容的账号进行分级处置,包括禁言、限流、内容打标签等措施。平台还收到用户建议,希望对AI生成内容进行强制标识。
百度除上线识别技术外,还开通用户投诉举报通道,对核实违规内容及账号进行处理并公示。
尽管各平台积极应对AI假新闻,但仍面临长期挑战。行业人士建议,用户应优先核实内容来源权威性,对不知名自媒体发布的信息保持合理怀疑。
免责声明:本文内容由开放的智能模型自动生成,仅供参考。