(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211093805.6 (22)申请日 2022.09.08 (65)同一申请的已公布的文献号 申请公布号 CN 115186110 A (43)申请公布日 2022.10.14 (66)本国优先权数据 202210930349.X 202 2.08.04 CN (73)专利权人 中国科学技术大学 地址 230026 安徽省合肥市包河区金寨路 96号 (72)发明人 徐童　陈恩红　许德容　吴世伟　 (74)专利代理 机构 北京凯特来知识产权代理有 限公司 1 1260 专利代理师 郑立明　韩珂 (51)Int.Cl. G06F 16/36(2019.01) G06F 40/30(2020.01) G06K 9/62(2022.01)G06V 10/74(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 5/02(2006.01) G06N 5/04(2006.01) (56)对比文件 CN 112699247 A,2021.04.23 CN 109918503 A,2019.0 6.21 CN 114564593 A,202 2.05.31 CN 114254117 A,202 2.03.29 CN 111506714 A,2020.08.07 Liyi Chen et al. .MMEA: Entity Alignment for Multi-modal Kn owledge Graph. 《KSE M 2020: Kn owledge Science, Engineering and Mana gement》 .2020,第134- 147页. 审查员 方媛 (54)发明名称 基于关系增强负采样的多模态知识图谱补 全方法与系统 (57)摘要 本发明公开了一种基于关系增强负采样的 多模态知识图谱补全 方法与系统， 提出了一种新 的知识指导跨模态注意力机制， 该机制集成了同 一实体的多个关系来估计多模态语义特征的双 向注意力权重， 并通过相互力注 意对关系无关特 征进行总结， 进而通过 嵌入关系指导特征对多模 态注意进行双向推理， 同时， 引入对比损失来训 练对比语义采样器， 从而得到更合适的采样分 布。 并且， 将masked操作与gumbel ‑softmax相结 合， 以确保有效的梯度反向传播。 通过本发明公 开的方案， 可以采样出多模态知识图谱补全任务 所需的高质量负样本， 从而有效保障多模态知识 图谱的应用质量。 权利要求书4页 说明书13页 附图3页 CN 115186110 B 2022.12.30 CN 115186110 B 1.一种基于关系增强负采样的多模态知识图谱补全方法， 其特 征在于， 包括： 构建多模态关系增强的负采样模型， 包括： 对比语义采样器与基于掩码的耿贝尔分布 采样计算单 元； 训练阶段： 对比语义采样器中使用预训练模型从样本尾实体对应的图像与文本对中分 别提取出视觉特征与文本特征， 并利用尾实体与关系的结构知识获得样本尾实体的结构特 征， 每一个样本为包含头尾实体及其关系的三元组； 使用知识指导跨模态注意力机制对文 本特征和视觉特征的交互进行建模， 再引入关系嵌入来分别指导视觉特征与文本特征的跨 模态注意权重计算， 获得样本尾实体的知识指导的视觉表征与知识指导的文本表征； 给定 当前正样本， 利用实体集合构造多个正样本与多个负样本， 所有正样本与负样本的头实体 及关系相同， 尾实体不同； 并且， 通过知识图谱补全模型采样出多个负样本， 根据构造出 的 负样本是否属于采样出 的负样本， 为每一构造出 的负样本配置相应的权重， 为构造出 的所 有正样本配置相同的权重； 对于当前正样本， 分别计算与其他每一正样本及每一负样本的 尾实体的知识指导的视觉表征之间的相似度， 知识指导的文本表征之间的相似度， 以及结 构特征之间的相似度； 基于三类相似度与相应正负样本的权重构建对比损失函数， 目标是 缩小正样本之间的差距， 同时扩大正样本和负样本之间的差距； 基于掩码的耿贝尔分布采 样计算单元的输入为三类相似度， 通过集成masked操作的gumbel ‑softmax重参数化技巧， 计算出每一负样本的采样分布， 根据采样分布采样出相应的负样本， 并结合正样本计算出 知识图谱补 全模型的损失函数； 利用对比损失函数与知识图谱补全模型的损失函数构 造总 的训练损失， 对所述多模态关系增强的负采样模型与知识图谱补全模型进行训练， 获得训 练后的知识图谱补全模型； 其中， masked操作表示二值化的掩码操作， 用于移除正样本， gumbel‑softmax表示 耿贝尔softmax； 测试阶段， 利用给定的正样本与实体集合构造多个样本， 并利用训练后的知识图谱补 全模型输出每一样本的得分， 将所有样本按照得分大小做降序排列， 选出排序靠前 的若干 样本。 2.根据权利要求1所述的一种基于关系增强负采样的多模态知识图谱补全方法， 其特 征在于， 所述利用尾实体与关系的结构知识获得样本尾实体的结构特 征包括： 将尾实体 t和关系r拼接后， 输入至全连接网络， 再 结合尾实体 t获得结构特征， 表示为： 其中， 表示结构特征， concat表示拼接操作， 表示激活函数， 与 表示全连 接网络的权 重和偏置参数。 3.根据权利要求1所述的一种基于关系增强负采样的多模态知识图谱补全方法， 其特 征在于， 所述使用知识指导跨模态注意力机制对文本特征和视觉特征 的交互进行建模， 再 引入关系嵌入来分别指导视觉特征与文本特征的跨模态注意权重计算， 获得样本尾实体的 知识指导的视 觉表征与知识指导的文本表征包括： 对文本特 征和视觉特征的交互进行建模， 获得跨模态 矩阵； 跨模态矩阵输入至四个支路： 第 一支路中利用跨模态矩阵生成视觉特征的第 一注意力 权重， 结合视觉特征 的第一注意力权重与视觉特征生成关系 无关的视觉表征， 第二支路中 使用知识图谱中的关系指导跨模态矩阵生成视觉特征的第二注意力权重， 结合视觉特征的权　利　要　求　书 1/4 页 2 CN 115186110 B 2第二注意力权重与视觉特征生成关系指导的视觉表征， 结合第一支路与第二支路生成的视 觉表征， 获得知识指导的视觉表征； 第三支路中使用知识图谱中的关系指导跨模态矩阵生 成文本特征的第一注意力权重， 结合文本特征的第一注意力权重与文本特征生成关系指导 的文本表征， 第四支路中利用跨模态矩阵生成文本特征 的第二注意力权重， 结合文本特征 的第二注意力权重与文本特征生成关系无关的文本表征， 结合第三支路与第四支路生成的 文本表征， 获得知识指导的文本表征。 4.根据权利要求3所述的一种基于关系增强负采样的多模态知识图谱补全方法， 其特 征在于， 在第一支路与第 二支路中， 输入的是转置后的跨模态矩阵； 第一支路中， 转置后的跨模 态矩阵通过softmax函数生成视觉特征的第一注 意力权重， 第二支路中， 将知识图谱中的关 系与转置后的跨模态 矩阵逐元素相乘生成视 觉特征的第二注意力权 重； 第三支路中， 将知识图谱中的关系与跨模态矩阵逐元素相乘生成文本特征的第 一注意 力权重； 第四支路中， 跨模态 矩阵通过softmax函数生成文本特 征的第二注意力权 重； 其中， 应用于第二支路与四支路的知识图谱中的关系是通过两个全连接网络针对同一 个关系进行处 理， 获得的两个不同的关系表征。 5.根据权利要求1所述的一种基于关系增强负采样的多模态知识图谱补全方法， 其特 征在于， 所述对比损失函数表示 为： 其中， 表示对比损失函 数， 表示视觉表征相似度的对比损失函 数， 表示文 本表征相似度的对比损失函数， 表示结构表征相似度的对比损失函数； 令相似度的对比损失函数 ， 计算公式表示 为： 其中，P是正样本集合， N是负样本集合； 表示相似度， 当 时， 表 示知识指导的视觉表征之 间的相似度， z表示当前正样本尾实体的知识指导的视觉表征， 表示正样本 j尾实体的知识指导的视觉表征， 表示负样本 n尾实体的知识指导的视觉表 征； 当 时， 表示知识指导的文本表征之间的相似度， z表示当前正样本尾 实体的知识指导的文本表征， 表示正样本 j尾实体的知识指导的文本表征， 表示负样本 n尾实体的知 识指导的文本表征； 当 时， 表示结构特征之间的相似度， z表 示当前正样本尾实体的结构特征， 表示正样本 j尾实体的结构特征， 表示负样本 n尾实 体的结构特 征； 与 分别表示 正样本j与负样本n的权重。 6.根据权利要求1或5所述的一种基于关系增强负采样的多模态知识图谱补全方法， 其 特征在于， 样本 权重的计算公式表示 为：权　利　要　求　书 2/4 页 3 CN 115186110 B 3