(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210940698.X (22)申请日 2022.08.06 (71)申请人 武汉纺织大 学 地址 430073 湖北省武汉市洪山区纺织路 一号 (72)发明人 陈佳　李熙洋　胡新荣　熊明福　 (74)专利代理 机构 武汉泰山北斗专利代理事务 所(特殊普通 合伙) 42250 专利代理师 程千慧 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06V 10/74(2022.01)G06V 10/44(2022.01) G06N 3/04(2006.01) (54)发明名称 一种利用基于Graphormer的上下文推理网 络进行图片预测分类的方法 (57)摘要 本发明涉及一种利用基于Graphormer 的上 下文推理网络进行图片预测分类的方法， 本发明 提出了一种基于Graphormer的上下文推理模型， 设计了一种度的中心性关系编码， 该方法能够有 针对性在区域间传播上下文信息， 从而提高小目 标检测的效率， 利用Transformer对图结构中节 点之间的语义和空间布局关系， 以及节点本身的 度中心性进行建模和推断， 在提取小目标语义特 征的同时尽可能保留其空间信息， 有效解决了小 目标的误检与漏检问题。 权利要求书2页 说明书7页 附图5页 CN 115457345 A 2022.12.09 CN 115457345 A 1.一种利用基于Graphormer的上下文推理网络进行图片预测分类的方法， 其特征在 于， 包括以下步骤： 步骤1、 对输入图片进行 特征提取， 将提取的特 征输入到RPN网络生成区域建议； 步骤2、 上下文关系建模模块利用生成的区域建议构造图结构模型， 图结构模型中的每 条边包含中心性编码、 语义编码以及空间布局编码信息， 其中， 根据目标结点的度的多少构 建中心性编码， 基于初始区域特征的稀疏语义关系构建语义编 码以及基于位置和形状信息 的稀疏空间布局关系构建空间布局编码； 步骤3、 上下文关系推理模块通过Transformer聚合节点之间的三种编码信息， 并进一 步与初始特征融合来更新节点信息， 然后使用Softmax函数得到所有节点的输出概率分布， 得到每个节点的属于各类别的概率， 将概率最大 的类别作为节点的标签， 最后输出所有节 点的标签作为输入图片的分类结果。 2.根据权利 要求1所述的利用基于Graphormer的上下文推理网络进行图片预测分类的 方法， 其特征在于， 所述步骤2中， 中心性编码是根据每个节点的度为每个节点分配的可学 习嵌入向量。 3.根据权利 要求1所述的利用基于Graphormer的上下文推理网络进行图片预测分类的 方法， 其特征在于， 所述步骤2中， 通过计算每条边的语义相似度， 将 语义相似度输入多层感 知 器 即 可 得 到 每 条 边 的 语 义 编 码 ；边 ei j的 语 义 相 似 度 计 算 公 式 为 ： 其中δ(i， j)是指示器函数， 如果边eij两端的 节点i和节点j个彼此高度重叠则等于0， 否则等于1， PO∈Rn×d是给定的初始区域特征库， d是 初始区域特征的维度， f( ·，·)是定义的一个可学习的语义相关度函数， 用来计算原始全 连通图中每个成对初 始节点特征 的语义相关度， Φ( ·)是将初始区域特征 投影到潜在表示的投影函数。 4.根据权利 要求1所述的利用基于Graphormer的上下文推理网络进行图片预测分类的 方法， 其特征在于， 所述步骤2中， 通过计算每条边的空间布局相似度， 将空间布局相似度输 入多层感知器即可 得到每条边的空间布局编码； 边eij的空间布局相似度s ″ij计算公式为： 其中 分别是边eij两端的节点i 和节点j的区域 坐标， 和 分别是节点 i和节点j的空间相似度和空间距离 权重： 其中λ为尺度参数， 是节点i和节点j中心之间的空间距离 。 5.根据权利 要求1所述的利用基于Graphormer的上下文推理网络进行图片预测分类的 方法， 其特 征在于， 所述 步骤2具体包括以下步骤： 步骤2.1、 对节点进行更新， 对第l层第i个节点即节点i更新的步骤为： 令节点i的初始权　利　要　求　书 1/2 页 2 CN 115457345 A 2节点特征Vi表示为xi， 并与中心节点特征 矩阵相加得到 表示节 点i的隐藏特征h， 其 中d是隐藏维度， 把节点特征 和图结构中其他节点特征 作为自 注意力模块的 输入 ， 然后分 别与三个权值矩阵 和 相乘得到向量 Q、 K和V； 将向量Q和向量K进行点积计算， 得到节点i的相关性权重A， 然后对节点i的相关性权重 A进行归一化， 将语义编码s ′ij和空间编码s ″ij作为权重A的偏置项进行矩阵相加计算， 通过 softmax函数将节 点i的权重A转换成[0,1]之间的概率分布， 再使每个节 点的概率分布与向 量V进行点积计算， 最后， 把 点积计算的结果进行累加得到节点 i更新后的节点特 征 步骤2.2、 对所有节点进行更新后， 当前Graphormer层输出的所有节点更新后的特征序 列H(l+1)； 步骤2.3、 将特征序列H(l+1)输入到Decoder中进行自注意力权重的计算， 得到更新后节 点特征序列H(l)； 步骤2.4、 将更新后节点特征序列H(l)输入到全连接层FC经过一次线性变换， 其中每个 节点都会接入一个全连接层， 使用Softmax函数得到所有节 点的输出的概率分布， 得到每个 节点的属于各类别的概率， 将概率最大 的类别作为节点的标签， 得到输入图片 中所有节点 的预测输出 结果。 6.根据权利 要求1所述的利用基于Graphormer的上下文推理网络进行图片预测分类的 方法， 其特征在于， 在测试阶段， 所述上下文关系建模模块和上下文关系推理模块为经过了 训练阶段的最 终模块， 在训练阶段， 步骤1 中输入的图片为训练集中的图片， 步骤3中还包括 以下步骤： 进行损失函数计算， 通过最小化损失函数对上下文关系建模模块和上下文关系 推理模块的参数进行调整， 训练完毕后得到最终模块。权　利　要　求　书 2/2 页 3 CN 115457345 A 3