6月12日消息,抖音宣布推出AI反网暴行动,上线“AI反网暴 Agent”,旨在从“被动处置”向“主动保护”转型。据介绍,该智能体结合了升级后的网暴识别模型与网暴研判模型,并与人工协同,构建了覆盖风险发现、事件研判、主动治理与外呼救助的全流程治理体系。此举使平台日均识别出的潜在被网暴风险人群较此前扩大91.5%。

据了解,当前的网络暴力形式趋于隐蔽,如通过表情包、谐音梗或长期零散的骚扰进行攻击,这给依赖“人工审核+举报处置”的传统模式带来挑战。抖音方面表示,传统的被动治理方式存在预警滞后、难以覆盖长期攻击和保护敏感人群等问题。


据悉,此次上线的“AI反网暴 Agent”能够综合分析用户在互动中的多种信号,计算“网暴风险得分”,并在风险发酵早期进行干预。该识别模型可关注用户整体互动情况,包括评论风向、主页访问量等,并能通过复盘案例自主学习新的网暴手段。同时,网暴研判模型可整合用户近期的多模态互动数据,从事件维度进行全局分析,以区分正常讨论与恶意攻击,并为未成年人、老年人等设置更敏感的保护梯度。

基于上述AI系统的研判,平台建立了分层保护机制。对于低风险用户,平台会通过App内提醒,引导其使用一键防护等功能。对于高风险或特殊保护群体,则会启动智能外呼,安排专人介入。平台数据显示,系统升级后,因风险等级高而获得人工外呼援助的受害者数量增长了147%。

在处置施暴者方面,平台将根据情节采取下架内容、限制功能乃至封禁账号等措施。对于涉嫌违法犯罪的,平台表示将配合公安机关提供证据。

抖音相关负责人表示,网络生态治理是一项长期工作,平台将持续迭代AI反网暴系统的技术能力,并优化相关产品功能。该负责人也呼吁广大网民文明理性发言。(袁雪丽)