(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210921552.0 (22)申请日 2022.08.02 (71)申请人 国网江苏省电力有限公司盐城供电 分公司 地址 224000 江苏省盐城市解 放南路189号 (72)发明人 成云朋　张庆富　王鑫　冯兴明　 王永　张济韬　李建华　张学波　 (74)专利代理 机构 南京德吉成专利代理事务所 (普通合伙) 32665 专利代理师 马良涛 (51)Int.Cl. G06V 20/17(2022.01) G06V 10/26(2022.01) G06V 10/30(2022.01) G06V 10/74(2022.01)G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种输电线路电力配件语义分割方法 (57)摘要 本发明提供了一种输电线路电力配件语义 分割方法， 包括： (1)、 使用无人机搭载红外热成 像仪与可见光相机环绕电力杆塔， 拍摄电力配件 红外可见光图像对， 得到红外可见光原始样本 集； (2)、 采用基于边缘强度的 图像配准模块对原 始样本集进行处理， 生成高匹配度的红外可见光 图像配准结果； (3)、 得到红外与可见光图像电力 配件样本集； (4)、 将标注后的红外与可见光图像 进行最后的语义分割； (5)、 将(3)中的红外与可 见光图像样 本集组以4:1的比例随机划分为训练 集与测试集， 并进行训练， 获得更为精确的分割 效果。 本发 明提供一种输电线路电力配件语义分 割方法， 能够准确地识别出输电线路中电力杆 塔、 绝缘子、 耐张线夹、 防震 锤等电力配件。 权利要求书4页 说明书9页 附图3页 CN 115376024 A 2022.11.22 CN 115376024 A 1.一种输电线路电力配件语义分割方法， 其特征在于， 所述输电线路电力配件语义分 割方法包括以下步骤： 步骤(1)： 使用无人机搭载红外热成像仪与可见光相机环绕电力杆塔， 拍摄电力配件红 外可见光图像对， 得到包含横向绝缘子、 竖向绝缘子、 绝缘线夹、 防震锤和杆塔目标的红外 可见光原始样本集； 步骤(2)： 采用基于边缘强度的图像配准模块对红外可见光原始样本集进行处理， 生成 高匹配度的红外可 见光图像 配准结果； 步骤(3)： 将配准后的红外与可见光图像对送入样本集构筑模块以构建红外可见光电 力配件样本集， 使用lab elme标注工具对所有可见光以及对应的红外图像， 针对步骤(1)中 五类目标进行手工标定， 其 余未标注区域 为背景， 得到红外与可 见光图像电力配件样本集； 步骤(4)： 将标注后的红外与可见光图像对输入多层次模态信息特征提取与权重自适 应学习的特征融合模块， 以充分提取具有特异性的红外与可见光数据特征， 并利用其互补 性将其充分融合， 接着将融合后结果送入高层特征激活模块以增强差异 性的特征并排除干 扰噪声的影响， 最后将全局特 征图送入多层次解码模块以获得最后的语义分割结果； 步骤(5)： 将步骤(3)中的红外与可见光图像样本集组以4:1的比例随机划分为训练集 与测试集， 并使用所述训练集对语义分割网络进行训练， 以交叉熵损失函数为监督更新网 络参数以获得 更为精确的分割效果。 2.根据权利要求1所述的一种输电线路电力配件语义分割方法， 其特征在于， 步骤(2) 中， 所述基于边缘强度的图像配准模块包括边缘强度检测模块、 特征选取模块以及描述符 匹配模块。 3.根据权利要求2所述的一种输电线路电力配件语义分割方法， 其特征在于， 所述边缘 强度检测模块包 含以下步骤： (1)将原始红外可见光图像对送入， 提取红外图像边缘特征， 记红外图像A被结构化元 素B腐蚀为： 其中Bz是矢量z对B的平移， 具体为 E则为腐蚀后的图像； 同理， 红外 图像A被结构化元 素B膨胀为： 其中Bs＝{x∈F| ‑x∈B}， F为膨胀后的图像， 其过程可视作结构化元素B绕原点旋转180 度之后再对红外图像A进行腐蚀； (2)根据(1)可获得红外图像内边缘D1＝A‑(A！ B)以及外边缘 进而获得红 外图像的基本梯度边 缘 4.根据权利要求2所述的一种输电线路电力配件语义分割方法， 其特征在于， 所述特征 选取模块， 基于ORB算法进行 特征选取， 包 含以下步骤： (1)取一大小 为S×S的像素块p， 通过平滑处理得到像素块上关键点q＝(x,y)T处的灰度 值p(q)， 并定义 二值判断标准Γ：权　利　要　求　书 1/4 页 2 CN 115376024 A 2其中r＝(x ′,y′)T为选定阈值关键点， p(r)为r处灰度值； (2)在关键点q邻域内选取n对位置坐标(xi,yi)， 并依据二值判断标准Γ进行比较得到n 维特征描述符fn(p)： (3)将一个2 ×n阶矩阵M用旋转矩阵Rθ进行操作， 得到新的矩阵Mθ为： 其中 关键点q主方向θ 所对应的旋转矩阵Rθ表示为 (4)由(3)， 矩阵M变成了有向形式， 即该特征描述符具备了旋转不变性， 二进制描述符 为： gn(p, θ )＝fn(p)|(xi,yi)∈Sθ。 5.根据权利要求2所述的一种输电线路电力配件语义分割方法， 其特征在于， 所述描述 符匹配模块， 包 含以下步骤： (1)以汉明距作为两个点的相似性度量， 采用暴力匹配方法对特 征点粗匹配； (2)通过渐进一 致采样法求 解变换矩阵； (3)使用RANSAC算法在高精度内点集合中计算出最终的变换矩阵H， 并依据变换矩阵H 对图像进行变换， 求出两图像间的共同区域； (4)采用仿射变换作为配准的求 解模型， 其数 学表达式为： 其中(x1,y1)表示原坐标， (x2,y2)表示投影变换后的坐标， H1表示仿射变换矩阵， (a02, a12)表示偏移量。 6.根据权利要求1所述的一种输电线路电力配件语义分割方法， 其特征在于， 步骤(4) 中， 包括所述样 本集构筑模块、 所述多层次模态信息特征提取模块、 所述权重自适应学习的 特征融合模块、 所述高层特征激活模块、 所述多层次解码模块和网络训练模块， 包含以下步 骤： (1)将标注后的红外图像与可见光图像对分别输入两个对应模态 的并行编码器， 其中 两并行编码器以ResNet50为主干网络， 且下分支编码器将首个卷积层输入通道数改为1以 匹配对应的红外灰度图像， 上分支用于提取对应的可 见光图像特 征； (2)从第二层开始， 将红外图像送入位于可见光编码器每一卷积层前的所述权重自适 应学习的特征融合模块， 并将融合结果作为可见光编 码器下一卷积层的输入以实现红外图 像对可见光图像的辅助监 督作用； (3)将(2)最后的融合结果送入所述高层特征激活模块以增强差异性的特征并排除干 扰噪声的影响， 并获得全局特 征图；权　利　要　求　书 2/4 页 3 CN 115376024 A 3