(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210752216.8 (22)申请日 2022.06.29 (71)申请人 齐鲁工业大学 地址 250353 山东省济南市长清区大 学路 3501号 (72)发明人 王新刚　李晓敏　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 董雪 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/62(2022.01) G06V 10/40(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于ALBERT和多模态循环融合的虚假 新闻检测方法及系统 (57)摘要 本公开属于计算机视觉和虚假新闻检测技 术领域， 具体涉及一种基于ALBERT和多模态 循环 融合的虚假新闻检测方法及系统， 包括： 提取待 检测新闻的文本特征和图像特征， 其中， 在文本 特征提取的过程中采用ALBERT模型； 基于多模态 融合技术融合所提取到的文本特征和图像特征， 得到多模态特征； 根据所得到的多模态特征和预 设的虚假 新闻检测器， 识别区分新闻的真假。 权利要求书1页 说明书8页 附图2页 CN 114998809 A 2022.09.02 CN 114998809 A 1.一种基于ALBERT和多模态循环融合的虚假 新闻检测方法， 其特 征在于， 包括： 提取待检测新闻的文本特征和图像特征， 其中， 在文本特征提取的过程中采用ALBERT 模型； 基于多模态融合 技术融合所提取到的文本特 征和图像特 征， 得到多模态特 征； 根据所得到的多模态特 征和预设的虚假 新闻检测器， 识别区分新闻的真假。 2.如权利要求1中所述的一种基于ALBERT和多模态循环融合的虚假新闻检测方法， 其 特征在于， 在提取待检测新闻的图像特征的过程中， 采用VGG ‑19网络； 通过在所述VGG ‑19网 络的最后一层添加全连接层， 以保证所提取到的图像特征与所提取到的文本特征维度相 同。 3.如权利要求1中所述的一种基于ALBERT和多模态循环融合的虚假新闻检测方法， 其 特征在于， 将待检测新闻中的单词 序列嵌入到向量中， 得到嵌入向量； 将所得到的嵌入向量 输入到所述ALBERT模 型中， 得到特征向量； 根据所得到的特征向量、 均池操作和待检测新闻 中的所有单词的重要性， 得到文本特 征。 4.如权利要求3中所述的一种基于ALBERT和多模态循环融合的虚假新闻检测方法， 其 特征在于， 采用多模态融合实现所述文本特征和图像特征 的融合， 将所得到的特征向量重 塑为循环 矩阵， 通过交 互操作完成多模态融合。 5.如权利要求1中所述的一种基于ALBERT和多模态循环融合的虚假新闻检测方法， 其 特征在于， 所述虚 假新闻检测器以多模态特征作为输入， 输出检测概率， 识别待检测新闻的 真假。 6.如权利要求1中所述的一种基于ALBERT和多模态循环融合的虚假新闻检测方法， 其 特征在于， 根据虚 假新闻检测器所输入的多模态特征， 识别待检测新闻的所属事件类别， 在 域分类器的作用下移除待检测新闻的特定特 征， 保留公共子空间的共享特 征。 7.如权利要求6中所述的一种基于ALBERT和多模态循环融合的虚假新闻检测方法， 其 特征在于， 采用交叉熵损失函数计算分类损失， 通过最小化交叉熵损失函数改进虚假新闻 检测。 8.一种基于ALBERT和多模态循环融合的虚假 新闻检测系统， 其特 征在于， 包括： 提取模块， 其被配置为提取待检测新闻的文本特征和图像特征， 其中， 在文本特征提取 的过程中采用ALBERT模型； 融合模块， 其被配置为基于多模态融合技术融合所提取到的文本特征和图像特征， 得 到多模态特 征； 检测模块， 其被配置为根据所得到的多模态特征和预设的虚假新闻检测器， 识别区分 新闻的真假。 9.一种计算机可读存储介质， 其上存储有程序， 其特征在于， 该程序被处理器执行时实 现如权利要求1 ‑7中任一项 所述的基于A LBERT和多模态循环融合的虚假新闻检测方法中的 步骤。 10.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的程 序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1 ‑7中任一项所述的基于 ALBERT和多模态循环融合的虚假 新闻检测方法中的步骤。权　利　要　求　书 1/1 页 2 CN 114998809 A 2一种基于ALBERT和多模 态循环融合的虚假新 闻检测方 法及 系统 技术领域 [0001]本公开属于多模态融合和虚假新闻检测技术领域， 具体涉及一种基于ALBE RT和多 模态循环融合的虚假 新闻检测方法及系统。 背景技术 [0002]本部分的陈述仅仅是提供了与本公开相关的背景技术信息， 不必然构成在先技 术。 [0003]近年来以社交网络为代表的互联网技术迅猛发展， 越来越多的人通过社交媒体获 取新闻， 社交媒体可以及时、 全面地提供世界各地正在发生的事情。 与此同时， 虚假新闻铺 天盖地， 而且极具迷惑性。 各种不法分子利用各种社交平台发布虚假消息， 进 行各种违法犯 罪活动， 给 社会稳定带来了严重的影响。 [0004]据发明人了解， 结合文本和图片的多模态虚假新闻信息比纯文本的有着更好地表 述能力， 所以更具有欺骗性， 也更容易被恶意传播。 当前的虚 假新闻检测面临着以下两大挑 战： [0005](1)传统的B ERT预训练模型在提取文本特征的过程中所需参数较多且训练速度较 慢， 无法更好 地提取新闻文本的语义信息； [0006](2)视觉特征与文本特征处于不同的语义特征空间， 存在异构性， 目前的多模态方 式仅仅是将文本和图像的特征作一个简单的拼接融合操作， 所得到的多模态特征不 足以表 达多模态数据之间的互补性， 且 存在着一定的冗余信息， 进 而影响检测性能。 发明内容 [0007]为了解决上述问题， 本 公开提出了一种基于ALBE RT和多模态循环融合的虚假新闻 检测方法及系统， 采用了ALBERT预训练模型提取文本特征， 同时用VGG ‑19模型提取视觉特 征， 再通过多模态循环融合(MCF)技术， 将文本和视觉特征进行融合形成多模态特征， 基于 MCF技术有效避免了参数的增加、 节约了计算成本， 从整体上提升了多模态融合水平， 在域 分类器的作用下移除新闻事件的特定特征， 保留事件之间可共享的特征， 从而对新出现的 事件做出有效识别； 最后， 将多模态特征输入到虚假新闻检测器中进行新闻真假的区分检 测。 [0008]根据一些实施例， 本 公开的第一方案提供了一种基于ALB ERT和多模态循环融合的 虚假新闻检测方法， 采用如下技 术方案： [0009]一种基于ALBERT和多模态循环融合的虚假 新闻检测方法， 包括： [0010]提取待检测新闻的文本特征和图像特征， 其中， 在文本特征提取的过程中采用 ALBERT模型； [0011]基于多模态融合 技术融合所提取到的文本特 征和图像特 征， 得到多模态特 征； [0012]根据所得到的多模态特 征和预设的虚假 新闻检测器， 识别区分新闻的真假。说　明　书 1/8 页 3 CN 114998809 A 3