(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210707799.2 (22)申请日 2022.06.20 (71)申请人 北京工业大 学 地址 100124 北京市朝阳区平乐园10 0号 (72)发明人 段立娟　王文健　公智　乔元华　 (74)专利代理 机构 北京思海天达知识产权代理 有限公司 1 1203 专利代理师 张慧 (51)Int.Cl. G06V 10/26(2022.01) G06V 20/70(2022.01) G06V 10/774(2022.01) G06V 10/74(2022.01) G06V 10/80(2022.01) (54)发明名称 基于记忆力机制的跨域小样本图像语义分 割方法 (57)摘要 本发明公开了一种基于记忆力机制的小样 本跨域分割方法， 该方法不但能够缓解模型对大 量标注样 本的依赖， 还有效提高了模 型对不同环 境的适应能力。 该方法首先在公开数据集上训练 分割模型， 此过程主要借助元度量机制来缓解模 型对数据标签的依赖， 并且通过读、 写操作将带 有域信息的风格化知识存储到记忆模块中。 随后 在使用模型时， 将存储在记忆模块中的知识载入 到新环境的待分割样本中， 由此提高模 型对不同 环境的泛化性， 最终顺利完成新场景的分割任 务。 本发明将训练过程中模型捕捉到的域泛化知 识载入到样 本稀少的新环境任务中， 拉近了不同 环境间的数据分布， 使 得深度模 型能够有效的面 对标注数据稀少的新环境， 扩展了深度分割模型 的泛化性与可用性。 权利要求书3页 说明书8页 附图4页 CN 115359250 A 2022.11.18 CN 115359250 A 1.基于记忆力机制的跨域小样本图像语义分割方法， 其特征在于： 包括训练和迁移两 个阶段， 在训练过程中构建彼此类似但不同的大量图像分割任务即元任务供分割模型学 习， 设计这些任务不仅用来优化分割模 型， 更用来抽取可迁移的记忆知识； 分割模型在学习 过程中不断收集任务之间的知识， 并且将这些知识存储到记忆力模块中； 随着训练的不断 进行， 分割模型所存储的知识 也逐渐丰富与有意义； 完成训练后， 将分割模型参数与学习到 的记忆力模块固定； 在迁移过程中， 分割模型将记忆力模块中的知识进 行选择性载入， 这些 知识负责降低新场景之 间图像的数据分布差异， 与新场景的图像特征共同帮助模型进 行新 场景的适配， 最终完成模型的顺利迁移与高效分割； 最终利用迁移后的模型进行目标分割。 2.根据权利要求1所述的基于记忆力机制的跨域小样本图像语义分割方法， 其特征在 于： 训练阶段包括： 步骤1： 模仿构造大量元任务： 在图像分割数据集上进行有放回的采样， 每次采样得到一个元任务， 元任务用来模仿 未来可能的图像分布， 供分割模型学习 更加泛化的参数， 所述的图像分割 数据集是 由标注 过的图像样本组成； 每个元任务同时包括支撑图像集与查询图像集， 两个图像集中图像类 别相同， 支撑图像集由少量图像构成； 步骤2： 随机初始化记 忆力模块： 记忆力模块由两组向量构 成， 分别代表元均值与元方差， 两组向量配合使用， 收集训练 过程中分割模型提取的支撑图像集中各个图像的特征分布， 记忆力模块用于模仿人类的认 知机理， 提升分割模型对新场景的适应能力； 每 个元任务中支撑图像都与记 忆力模块交 互； 步骤3： 存 储每个元任务中支撑图像的均值、 方差 到记忆力模块， 具体过程如下： 当处理每个元任务时， 对于其支撑 图像集中每个图像， 分割模型首先提取到对应的特 征， C、 H和W分别表示特征通道的尺寸、 相应特征的高度和宽度； 然后， 计算每个支撑图像特 征的均值和方差； 接下来， 计算每个支撑图像特征均值和每个元均值之间的相似度， 以及计 算每个支撑图像特征方差和每个元方差之间的相似度； 最后， 通过聚合来更新成对的元均 值和元方差， 至此， 每 个元任务中支撑图像集的图像特 征的分布成功存 储到记忆力模块中； 步骤4： 使用支撑图像集特 征对查询图像集进行匹配， 匹配结果供后续计算损失： 对于步骤3得到的每个支撑 图像的图像特征， 首先使用图像对应的标签对图像特征进 行筛选， 得到每 个支撑图像的原型表达， 其中， 第b个支撑图像的原型表达如下： 其中T为使用标签Yb筛选出来的前景像素点， |T |为前景像素点总数， 表图像b中t位置 像素点特 征； 抽取得到的原型对查询图像集进行分割， 得到匹配结果， 其中， 第b个支撑图像的原型 对第q个查询图像进行分割的具体方法为： 首先将第b个支撑图像的原型pb与第q个查询图 像的特征fq进行拼接； 随后 使用标准1 ×1卷积R对拼接特征进行关系发现， 将其映射为单通 道的关系热力图， 最后进行 上采样得到与第b个原型的最终匹配结果 权　利　要　求　书 1/3 页 2 CN 115359250 A 2步骤5： 使用匹配结果计算损失， 训练分割模型： 整体损失函数＝ Lorth+L 其中， 其中， N表示记忆力模块中元均值的个数， 且元均值与元方差的个数相等， 表示mi和mj 的余弦相似性， 以及 表示ei和ej余弦相似性； L为二元交叉熵损失函数： 其中 代表第q个查询图像与第b个支撑图像在(h， w)的匹配关系， 为图像标签； 此步骤通过模型的反向传播将分割模型在每个元任务上所学到的经验转化为分割模 型的高适配参数； 迁移阶段包括： 步骤6： 使用训练得到的分割模型在新场景进行分割 步骤1‑5完成了分割模型的训练， 在新场景图像分割中， 微调训练好的分割模型， 具体 使用新场景中给定的图像， 再次依照步骤5对分割模型进行微调， 随后将模型参数固定， 完 成新场景 下图像语义分割模型的微调过程后， 即可进行新场景的分割。 3.根据权利要求2所述的基于记忆力机制的跨域小样本图像语义分割方法， 其特征在 于： 进一步的， 第b个支撑图像特 征的均值 μb和方差vb的计算公式如下 所示： 其中， 表示通道上的图像特 征。 4.根据权利要求3所述的基于记忆力机制的跨域小样本图像语义分割方法， 其特征在 于： 进一步的， 第b个支撑图像特 征均值 μb与第j个元均值mj之间相似度 的计算公式如下： 其中， sim表示 余弦相似度， B表示每次支撑分割图像集中图像 个数。 5.根据权利要求4所述的基于记忆力机制的跨域小样本图像语义分割方法， 其特征在 于： 进一步的，权　利　要　求　书 2/3 页 3 CN 115359250 A 3