(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211388128.0 (22)申请日 2022.11.07 (71)申请人 齐鲁空天信息 研究院 地址 250100 山东省济南市历城区王 舍人 街道工业北路4 4号 申请人 中国科学院空天信息创新研究院 (72)发明人 郎公福　郭子瑜　肖保臣　马玉辉　 胡怀迪　张翠翠　李学伟　 (74)专利代理 机构 中科专利商标代理有限责任 公司 11021 专利代理师 郭梦雅 (51)Int.Cl. G06F 16/48(2019.01) G06F 16/45(2019.01) G06F 40/30(2020.01)G06F 16/36(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 多模态虚假信息 检测方法、 装置和设备 (57)摘要 本公开提供了一种多模态虚假信息检测方 法、 装置和设备， 可以应用于信息检测技术领域。 该方法包括： 获取关于同一主题词条的多个事件 信息； 根据外部知识信息与事件信息， 生成与事 件信息相对应的异质图； 从异质图的实体中提取 特征， 得到异质图的实体的实体特征； 对异质图 和实体特征进行处理， 得到事件信息的多模态特 征和事件虚假判识结果； 基于多个多模态特征和 多个事件虚假判识结果， 生成时间特征序列； 根 据时间特征序列， 得到关于主题词条的虚假判识 结果。 权利要求书3页 说明书16页 附图4页 CN 115525781 A 2022.12.27 CN 115525781 A 1.一种多模态 虚假信息检测方法， 包括： 获取关于同一主题词条的多个事 件信息； 根据外部知识信息与所述事 件信息， 生成与所述事 件信息相对应的异质图； 从所述异质图的实体中提取 特征， 得到所述异质图的实体的实体特 征； 对所述异质图和所述实体特征进行处理， 得到所述事件信 息的多模态特征和事件虚假 判识结果； 基于多个所述多模态特征和多个所述事件虚假判识结果， 生成时间特征序列， 其中， 所 述时间特征序列包括多个局部感知向量， 所述多个局部感知向量是按照所述多个事件信息 各自的发布时间排序的， 每个所述局部感知向量包括拼接后的与所述事件信息相对应的多 模态特征和事件虚假判识结果； 根据所述时间特 征序列， 得到关于所述主题词条的虚假判识结果。 2.根据权利要求1所述的方法， 其中， 所述根据外部知识信息与所述事件信息， 生成与 所述事件信息相对应的异质图， 包括： 获取所述事件信息的多模态信息， 所述多模态信息包括以下至少两项： 所述事件信息 中的文本信息、 所述事 件信息中的视 觉信息、 和与所述事 件信息相关的社交上 下文信息； 利用预设抽取规则从所述多模态信 息的所述文本信 息中抽取文本信 息的实体和关系、 从所述视觉信息中抽取视觉信息的实体和关系、 以及从所述社 交上下文信息中抽取社 交上 下文信息的实体和关系； 根据外部知识信息， 得到与所述主题词条相关的外 部知识信息的实体和关系； 根据所述外部知识信息的实体和关系、 所述文本信息的实体和关系、 所述视觉信息的 实体和关系与所述社 交上下文信息的实体和关系， 生成与所述事件信息相对应的所述异质 图。 3.根据权利要求2所述的方法， 其中， 所述利用预设抽取规则从所述多模态信 息的所述 文本信息中抽取文本信息的实体和关系、 从所述视觉信息中抽取视觉信息的实体和关系、 以及从所述社交上 下文信息中抽取 社交上下文信息的实体和关系包括： 利用预训练语言模型从所述文本信息中抽取所述文本信息的实体以及从所述社交上 下文信息中抽取 所述社交上 下文信息的实体； 利用残差神经网络模型从所述视 觉信息中抽取 所述视觉信息的实体； 根据所述文本信 息的实体及所述文本信 息， 利用分段卷积神经网络模型从所述文本信 息中抽取 所述文本信息的实体之间的所述文本信息的关系； 根据所述社交上下文信 息的实体及所述社交上下文信 息， 利用分段卷积神经网络模型 从所述社交上下文信息中抽取所述社交上下文信息的实体之间的所述社交上下文信息的 关系； 根据所述视觉信 息的实体及所述视觉信 息， 利用分段卷积神经网络模型从所述视觉信 息中抽取 所述视觉信息的实体之间的所述视 觉信息的关系。 4.根据权利要求2所述的方法， 其中， 所述根据外部知识信息， 得到与所述主题词条相 关的外部知识信息的实体和关系包括： 根据所述外部知识信 息， 构建类型不同的多个知识图谱， 其中， 所述外部知识信 息是从 开源信息中获取 的， 所述外部知识信息包括与所述主题词条相关的信息， 所述多个知识图权　利　要　求　书 1/3 页 2 CN 115525781 A 2谱包括以下至少两项： 领域知识图谱、 通用知识图谱、 事理知识图谱及时空知识图谱； 从所述多个知识图谱中获取 所述外部知识信息的实体和关系。 5.根据权利要求2所述的方法， 其中， 所述根据所述外部知识信息的实体和关系、 所述 文本信息的实体和关系、 所述视觉信息的实体和关系与所述社交上下文信息的实体和关 系， 生成与所述事 件信息相对应的所述异质图包括： 利用实体链接技术对所述外部知识信息的实体、 所述文本信息的实体、 所述视觉信息 的实体与所述社交上下文信息的实体进行实体对齐， 得到实体名称统一的外部知识信息的 实体、 文本信息的实体、 视 觉信息的实体与社交上 下文信息的实体； 利用所述实体名称统一的外部知识信 息的实体和关系、 所述实体名称统一的文本信 息 的实体和关系、 所述 实体名称统一的视觉信息的实体和关系与所述 实体名称统一的社 交上 下文信息的实体和关系， 生成与所述事 件信息相对应的所述异质图。 6.根据权利要求1所述的方法， 其中， 所述从所述异质图的实体中提取特征， 得到所述 异质图的实体的实体特 征包括： 获取所述异质图的实体； 利用预训练语言模型对所述实体进行处 理， 得到所述异质图的实体的实体特 征。 7.根据权利要求1所述的方法， 其中， 所述对所述异质图和所述实体特征进行处理， 得 到所述事 件信息的多模态特 征和事件虚假判识结果包括： 对所述异质图进行处 理， 得到异质图邻接矩阵； 将所述异质图邻 接矩阵和所述实体特征输入层次注意力模型中的特征提取模块中， 得 到所述多模态特 征； 将所述多模态特征依次输入层次注意力模型的全连接层和分类层中， 得到所述事件虚 假判识结果。 8.根据权利要求1所述的方法， 其中， 所述基于多个所述多模态特征和多个所述事件虚 假判识结果， 生成时间特 征序列包括： 对所述多模态特征及与所述多模态特征相对应的事件虚假判识结果进行特征拼接， 生 成所述事 件信息的局部感知向量； 根据所述多个事件信 息各自的发布时刻， 对多个所述局部感知向量进行排序、 组合， 得 到所述时间特 征序列。 9.一种多模态 虚假信息检测装置， 包括： 多个事件信息获取模块， 用于获取关于同一主题词条的多个事 件信息； 异质图生成模块， 用于根据外部知识信息与所述事件信息， 生成与所述事件信息相对 应的异质图； 实体特征得到模块， 用于从所述异质图的实体中提取特征， 得到所述异质图的实体的 实体特征； 事件虚假判识结果得到模块， 用于对所述异质图和所述实体特征进行处理， 得到所述 事件信息的多模态特 征和事件虚假判识结果； 时间特征序列生成模块， 用于基于多个所述多模态特征和多个所述事件虚假判识结 果， 生成时间特征序列， 其中， 所述时间特征序列包括多个局部感知向量， 所述多个局部感 知向量是按照所述多个事件信息各自的发布时间排序的， 每个所述局部感知向量包括拼接权　利　要　求　书 2/3 页 3 CN 115525781 A 3