(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210569646.6 (22)申请日 2022.05.24 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市杭州经济技 术 开发区白杨街道 2号大街1 158号 (72)发明人 郭春生　陈哲浩　应娜　陈华华　 (74)专利代理 机构 浙江永鼎律师事务所 3 3233 专利代理师 周希良 (51)Int.Cl. G06V 10/764(2022.01) G06V 20/54(2022.01) G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于多尺度注意力耦合机制的小样本交通 异常图像采集方法及系统 (57)摘要 本发明公开了一种基于多尺度注意力耦合 机制的小样 本交通异常图像采集方法及系统， 本 发明方法包括步骤： S1.将早先布置的摄像头中 收集的交通异常情形图像打上标签作为有标签 数据集， 并进 一步划分训练集和测试集； S2.对样 本数据进行数据处理并构造情景任务， 从训练集 中随机采样少量样本作为支持集样本和一定量 同类样本作为查询样本图像； S3.利用骨干网络 对每个情景任务中的图像进行特征提取， 并获取 多尺度输入特征； S4.将两个不同层次注意力结 合， 形成特征多域层次结构； S5.将不同尺度度量 结果加权聚合， 根据最终的支持集和查询集样本 间的度量分数实现影像分类； S6.利用损失函数 进行端到端训练； S7.进行测试保留最优训练权 重； S8.模型部署和图像采集。 权利要求书3页 说明书12页 附图2页 CN 114898158 A 2022.08.12 CN 114898158 A 1.一种基于多尺度注意力耦合机制的小样本交通异常图像采集方法， 其特征在于， 包 括步骤： S1.将摄像头收集的交通异常情形图像打上标签作为有标签数据集， 并进一步划分成 训练集和 测试集； S2.对样本数据进行数据处理并构造情景任务， 从训练集中随机采样样本作为支持集 样本和同类样本作为 查询样本图像； S3.利用骨干网络对每 个情景任务中的图像进行 特征提取， 并获取多尺度输入特 征； S4.将两个不同层次注意力结合， 形成特 征多域层次结构； S5.将不同尺度度量结果加权聚合， 根据最终的支持集和查询集样本间的度量分数实 现图像分类； S6.利用损失函数进行端到端训练； S7.进行测试保留最优训练权 重； S8.将训练好最优权重的模型部署到摄像头， 将摄像头安置到新场景中， 采集交通异常 图像进行数据标注作为支持集样本， 后续采集的待检测图像作为查询集样本即可实现异常 图像分类采集。 2.根据权利要求1所述的一种基于多尺度注意力耦合机制的小样本交通异常图像采集 方法， 其特征在于， 步骤S1中， 将多类交通异常图像打上标签作为有标签数据集Dlabel， 后将 有标签数据集Dlabel中多类交通异常图像按比例划分为训练集Dbase和测试集Dtest。 3.根据权利要求2所述的一种基于多尺度注意力耦合机制的小样本交通异常图像采集 方法， 其特征在于， 步骤S2 中， 裁剪图像， 同时进行数据增强； 情景任务T由N个类别， 每个类 别有K个样本， 由支持集 和查询集 构成， 即T＝(S,Q)， 其 中xi 和xj分别是支持集和查询集中的图像样本， yi和yj分别是对应标签。 4.根据权利要求3所述的一种基于多尺度注意力耦合机制的小样本交通异常图像采集 方法， 其特征在于， 在训练阶段支持样本随机采样自训练集Dbase， 查询样本采样自与支持集 样本相同交通异常情形的同类样本， 测 试阶段支持样本随机采样自测 试集Dtest， 查询样本 采样自与支持集样本相同交通异常情形的同类样本 。 5.根据权利要求4所述的一种基于多尺度注意力耦合机制的小样本交通异常图像采集 方法， 其特征在于， 步骤S3中， 利用骨干网络进行特征提取， 并利用一个多尺度特征解复用 器来构造多尺度输入特 征， Z个尺度特 征 其中F＝{fz}＝{fz,s,fz,q}， z＝1,. ..,Z； 在各个尺度上计算出每个情景任务中包含的样本类别的类原型： 在1 ‑shot或者many ‑ shot设置下， 类别n的类原型由同类样本嵌入特征均值表示： 其中n＝ 1,...,N。 6.根据权利要求5所述的一种基于多尺度注意力耦合机制的小样本交通异常图像采集 方法， 其特征在于， 步骤S4中， 利用特征 在多域注意力耦合模块中将两个不同层次的注 意力结合： 关注类间多样性的多域注意力权 重Wss和关注类内相关性的自注意力权 重Wsa； 多域的注意力权 重 由一个能学习参数的自适应空间重要性 生成器Gs和sigmoid函数权　利　要　求　书 1/3 页 2 CN 114898158 A 2获得， 公式如下： 其中θs为可学习参数， 为每个域的掩 模由获得， σ 为sigmo id函数； 将原型特征 通过权重为 的线性映射层被转换为查询矩阵、 键矩阵和值 矩阵 于是自注意力权 重 表示为： 两个不同层次中注意力耦合过程表示 为： 其中 表示元素乘积； 多域注意力耦合模块输出 特征表示为： 其中||表示级联操作， F FN表示前馈网络 。 7.根据权利要求6所述的一种基于多尺度注意力耦合机制的小样本交通异常图像采集 方法， 其特征在于， 步骤S5中， 利用多尺度度量模块中 的自适应权重生成器Gw获取各个尺度 度量结果的重要性权 重： 其中||表示级联操作， θw为可学习参数； 最终的度量结果表示 为： 其中d(·,·)表示度量 函数； 利用最近邻居算法可以根据 度量分数 得到查询样本xj的标签预测结果 8.根据权利要求7所述的一种基于多尺度注意力耦合机制的小样本交通异常图像采集 方法， 其特征在于， 步骤S6中， 训练阶段在端到端设置下被优化学习； 目标损失函数由三部 分组成： 多尺度分类损失Lcls， 域多样性损失 以及多尺度平衡损失 对于多尺度 度量结果的分类损失使用交叉熵损失： 其中LCE表示交叉熵损失； 对域注意力的稀疏性进行约束， 具体公式如下：权　利　要　求　书 2/3 页 3 CN 114898158 A 3