(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211374352.4 (22)申请日 2022.11.04 (71)申请人 南京信息 工程大学 地址 210044 江苏省南京市浦口区宁六路 219号 (72)发明人 荣欢　骆维瀚　马廷淮　孙圣杰　 于信　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 陈月菊 (51)Int.Cl. G06N 5/04(2006.01) G06N 5/02(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06F 16/36(2019.01) G06F 40/169(2020.01) G06F 40/205(2020.01) G06F 16/35(2019.01) (54)发明名称 一种基于多模态事件知识图谱的溯因推理 方法 (57)摘要 本发明提供了一种基于多模态事件知识图 谱的溯因推理方法， 有机混合了事件知识图谱和 多模态知识图谱的本体层和事实层， 使事实知识 可以通过多模态事件知识 图谱的形式存储和使 用， 丰富了现行的知识组织和使用形式； 同时对 ege‑RoBERTa模型进行拓宽， 增加了额外知识接 口以及卷积自编码器训练通道， 使其可以支持多 模态事件信息作为额外知识 辅助推理， 得到更好 的推理结果。 权利要求书4页 说明书10页 附图4页 CN 115423106 A 2022.12.02 CN 115423106 A 1.一种基于多模态事件知识图谱的溯因推理方法， 其特征在于， 所述溯因推理方法包 括以下步骤： S1， 对现有的SEM简单事件框架进行扩充， 采用GAF算法对扩充后的SEM简单事件框架进 行注释， 作为多模态事 件知识图谱的本体层框架； S2， 建立多媒体新闻数据集， 采用跨模态事件抽取模型对多媒体新闻数据中的文本和 图像进行事实抽取， 抽取其中的事件、 论元元素， 并将文本数据和图像数据中的事件和论元 嵌入同一向量空间对齐； S3， 将抽取和对齐后的事件知识通过GAF对齐注释框架填入多模态事件知识图谱的事 实层， 构建出多模态事 件知识图谱作为后续溯因推理的知识库； S4， 根据溯因任务所给的事件不完整观察， 通过数据库搜索的方法从多模态事件知识 图谱中找出对应的可疑成因事件和额外知识事件， 以及可疑成因事件和额外知识事件对应 的事件图片序列； S5， 采用有序图像注意模型对搜索出的图片序列进行文本化处理， 输出对应的文本序 列； S6， 对ege ‑RoBERTa溯因模型进行扩充， 加入额外事件信息； 增加卷积自编码器通道， 结 合卷积自编码器通道和扩充后的ege ‑RoBERTa溯因模 型， 构建溯因推理模 型， 溯因推理模 型 拥有读取图片序列中可用信息以及额外信息的能力； S7， 将步骤S4的文本序列和步骤S5的事件图像序列输入至溯因推理模型中， 对扩充后 的ege‑RoBERTa溯因模型和卷积自编码器通道的溯因结果进行加权混合， 对可疑成因事件 进行评分预测， 最终得到每种 可能成因事件的概率， 输出最有可能的不完整观察事件的成 因。 2.根据权利要求1所述的基于多模态事件知识图谱的溯因推理方法， 其特征在于， 步骤 S1中， 对现有的S EM简单事件框架进 行扩充， 采用GAF算法对扩充后的S EM简单事件框架进行 注释， 作为多模态事 件知识图谱的本体层框架的过程包括以下子步骤： S11， 构建SEM简单事件模型， SEM简单事件模型包括四个核心类： 代表发生了什么事的 sem:Event， 代表参与者的sem:A ctor， 代表地点的sem:Plac e， 代表何时的sem: Time； 每个核 心类都有一个相关的类型sem:Type， 其中包 含指示实例类型的资源； S12， 在SEM简单事件模型上添加imo:image核心类用来存储图片， 再构建imo: imageEvent、 i mo:imageA ctor、 imo:i magePlac e三个子类， 三者归属于sem:imageType， 并通 过属性与sem:Event， sem:Actor， sem: Place核心类链接； S13， 对于imo:image核心类的内部结构， 图像的视觉描述符和相似性关系形成核心， 嵌 入imo图片本体， 将图像的视 觉描述符和相似性关系表示成资源描述框架。 3.根据权利要求1所述的基于多模态事件知识图谱的溯因推理方法， 其特征在于， 步骤 S2中， 建立多媒体新闻数据集， 采用跨模态事件抽取模型对多媒体新闻数据中的文本和图 像进行事实抽取， 抽取其中的事件、 论元元素， 并将文本数据和图像数据中的事件和论元嵌 入同一向量空间对齐的过程包括以下子步骤： S21， 采用CAMR分析程序对输入的文本情 报信息源进行处 理， 生成相应的AMR图； S22， 经过Bi ‑LSTM编码词序， 得到每个句子的token的表示， 每个句子的token的表示包 括预训练的GloVe词编码、 词性标注、 命名实体识别和位置编码； 按照公式 （1） 和公式 （2） 对权　利　要　求　书 1/4 页 2 CN 115423106 A 2文本情报信息源中的事 件和论元进行抽取： 式中， 表示在 条件下 成立的概率， 表示在 条件下 成立的概率； 为动词， 为实体， 为事件类型， 为论元角色， 和 、 和 分别表示模型在事件 和论元条件下的神经层权重参数， 和 、 和 分别表示模型在事件和论元条件下的神 经层偏移参数， 是模型GCN层中的公共空间表示， 是平均实体 的令牌后获得的嵌入表 示； S23， 将每个图片表示为行为图， 中心节点被标记为动词 ； 邻居节点使论元被标记为 ， 其中 为名词， 从WordNet词法集得到， 表明实体 的类型； 表明实体在事件中扮 演的角色； 使用基于目标图的方法， 按照公式 （3） 和公式 （4） 对图片情报信息源中的事件和 论元进行抽取： ； 式中， 表示在图片 条件下动词 成立的概率， 表示在图片 条件下 名词 成立的概率， 表示图片 的编码表示， 表示对 成立的似然估计， 表示对 成立的似然估计， 和 分别表示动词 和名词 的编码表示； S24， 通过GCN将AMR图和图片行为图嵌入到公共 空间中， 计算相似性<s,m>， 匹配每个句 子s和最接近的图像m， 通过加权平均， 将句子s中每个单词的特征与图像m中的对齐表示进 行聚合， 由公式 （5） 计算得 出文本和图片的对齐结果： 式中， ， 表示单词特征向量， 表示图片特征向量， 表示对单词 特征向量和图片特 征向量加权平均化后的结果向量。 4.根据权利要求1所述的基于多模态事件知识图谱的溯因推理方法， 其特征在于， 步骤 S4中， 根据溯因任务所给的事件不完整观察， 通过数据库搜索的方法从多模态事件知识图 谱中找出对应的可疑成因事件和额外知识事件， 以及可疑成因事件和额外知识事件对应的 事件图片序列的过程包括： 输入事件的不完整观察事件数据集 ， 其中 分别表示前置事件数据和结果事 件数据； 根据 通过数据库查找方法在构建的多模态事件知识图谱中进行关联查找， 得到与不完整观察 可能的事件诱因 ， 其中 表示可能的第 权　利　要　求　书 2/4 页 3 CN 115423106 A 3