(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210814876.4 (22)申请日 2022.07.12 (71)申请人 合肥中聚源智能科技有限公司 地址 230000 安徽省合肥市高新区5 089号 中国科学技术大学先进技术研究院嵌 入式研发楼102-A6 (72)发明人 汪萌　孙晓　刘学亮　王方兵　 (74)专利代理 机构 北京华仁联合知识产权代理 有限公司 1 1588 专利代理师 张欢 (51)Int.Cl. G06F 16/532(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/44(2022.01)G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于双局部交互网络使用草图检索图 像的方法 (57)摘要 本发明公开了一种基于双局部交互网络使 用草图检索图像的方法， 包括以下步骤： 构建草 图和与之对应的真实图像数据集。 本发明利用给 定的草图样 本、 与草图不同类别的真实负样本图 片以及与草图对应的真实正样本图片从而组成 三元组样 本组合， 利用局部特征提取器将输入的 三元组样 本组合提取出局部特征， 通过自我交互 模架和交叉交互模块分别对提取的局部特征进 行冗余特征消除以及局部特征学习， 由此计算三 元组样本组合的损失， 从而优化构建的双局部交 互网络模型， 方便双局部交互网络模 型能够对草 图进行快速的检索， 相比传统方法检索速度更 快， 相比于具体图像 检索更加灵活。 权利要求书2页 说明书5页 附图2页 CN 115168631 A 2022.10.11 CN 115168631 A 1.一种基于双局部交 互网络使用草图检索图像的方法， 其特 征在于： 包括以下步骤： 构建草图和与之对应的真实图像数据集； 通过草图和与之对应的真实图像数据集构建双局部交 互网络模型； 对双局部交互网络模型进行训练， 然后使用训练 的双局部交互网络模型用于草图图像 检索。 2.根据权利要求1所述的基于双局部交 互网络使用草图检索图像的方法， 其特 征在于： 所述构建草图和与之对应的真实图像数据集包括： 通过收集人工手绘物体并制作成图像样本， 同时收集与之对应的真实物体的图像样 本， 并对两次图像样本的类别做标记， 最后收集的图像样本数据80%作为训练集、 图像样本 数据20%作为测试集。 3.根据权利要求2所述的基于双局部交 互网络使用草图检索图像的方法， 其特 征在于： 所述通过草图和与之对应的真实图像数据集构建双局部交 互网络模型包括： 首先利用训练集作为构建双局部交 互网络模型的样本； 根据给定查询草图样本 ,与草图不同类别的真实负样本图片 ,与草图对应的真实正 样本图片 ， 组成三元组样本组合( , )； 将三元组样本组合( , )输入到局部特征提取器内部， 从而获取局部特征 ； 将提取的局部特征 输入到双交互模块中， 其中， 双交互模块包括自我交互 模块和交叉交 互模块； 通过计算 三元组样本组合的损失从而对整个网络进行优化。 4.根据权利要求3所述的基于双局部交 互网络使用草图检索图像的方法， 其特 征在于： 所述将三元组样本组合( , )输入到局部特征提取器内部， 从而获取局部特征 包括： 对应三元组样本组合( , )的输入构建三个互不相交的编码器网络， 其中编码器 网络使用resnet50用于每个网络的分支并且移除conv4层以及后续层用于获取编码细粒度 细节； 对每个编码器提取的局部特征 进行 范数归一化 ， 用于约束 特征空间在超球面上进行 稳定训练。 5.根据权利要求3所述的基于双局部交 互网络使用草图检索图像的方法， 其特 征在于： 所述自我交互模块， 用于计算同一个照片 或草图的局部特征之间的相似性来消除背景 特征。 6.根据权利要求5所述的基于双局部交 互网络使用草图检索图像的方法， 其特 征在于：权　利　要　求　书 1/2 页 2 CN 115168631 A 2通过对获取的局部特 征进行展平 ； 其中 表示归一化的局 部特征， 展平后局 部特征 ； 最后与局部特征展平后的转置矩阵内积分别计算局部特征相似性矩阵 ， ， 其中 ， C为图像通道数， 对彩色图像， C=3， H为图像高度， W为图像宽 度， T表示数 学上的转置运 算。 7.根据权利要求3所述的基于双局部交 互网络使用草图检索图像的方法， 其特 征在于： 所述交叉交互模块， 用于计算所有局部特征之间的距离 ， 即计算草图的局部特征与三 元组其他样 本的局部特征内积 ， 其中， 的行向量表 示草图的一个局部特 征与真实图像的所有局部特 征之间的距离； 行向量的最小值设置为局部距离， 其中局部距离表示对齐的局部特征之间的距离 ， ； 对局部距离 进行 范数求和， 求和公式如下： 。 8.根据权利要求3所述的基于双局部交 互网络使用草图检索图像的方法， 其特 征在于： 所述计算 三元组样本组合的损失包括： ， 其中 是超参数。 9.根据权利要求1所述的基于双局部交 互网络使用草图检索图像的方法， 其特 征在于： 所述对双局部交互网络模型进行训练， 然后使用训练的双局部交互网络模型用于草图 图像检索包括： 利用Adam优化器对双局部交互网络模型进行训练， 并且当双局部交互网络模型在测试 集上达到最大值作为 最佳模型， 然后使用双局部交 互网络模型用于草图检索真实样本 。权　利　要　求　书 2/2 页 3 CN 115168631 A 3