(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210671342.0 (22)申请日 2022.06.15 (71)申请人 南京信息 工程大学 地址 210044 江苏省南京市江北新区宁六 路219号 (72)发明人 吉茹　张银胜　杨宇龙　周乐佳　 徐文校　吕宗奎　付相为　 (74)专利代理 机构 南京苏高专利商标事务所 (普通合伙) 32204 专利代理师 柏尚春 (51)Int.Cl. G06T 7/11(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 20/13(2022.01) (54)发明名称 基于多尺度损失函数的改进型U-Net云图分 割方法 (57)摘要 本发明公开了基于多尺度损失函数的改进 型U‑Net云图分割方法， 包括以下步骤： (1)获取 全天空图像分割数据库， 对全天空图像 分割数据 库包含的云图以及与其对应的二值标签进行预 处理获得数据集； (2)利用改变卷积方式、 添加高 效通道注意力机制、 修改归一化、 添加多尺度特 征融合的方法构建改进U ‑Net框架； (3)结合Dic e 损失函数、 交叉熵损失函数、 边界损失函数和 Log_Cosh损失函数的优点， 提出改进的复合损失 函数； (4)将步骤1得到的数据集输入改进型U ‑ Net模型进行训练、 测试， 获得最佳参数模型， 输 出预测效果图。 本发明使得云图分割准确率更 高、 泛化效果更好， 具有非常重要的研究和应用 价值。 权利要求书3页 说明书7页 附图2页 CN 114998373 A 2022.09.02 CN 114998373 A 1.基于多尺度损失函数的改进型U ‑Net云图分割方法， 其特 征在于， 包括以下步骤： (1)获取全天空图像分割数据库， 对全天空图像分割数据库包含的云图以及与其对应 的二值标签进行 预处理获得数据集； (2)利用改变卷积方式、 添加高效通道注意力 机制、 修改归一化和添加多尺度 特征融合 的方法构建改进型U ‑Net模型； (3)提出改进型U ‑Net模型的改进复合损失函数， 表达式为： Limprove＝β Limprove2+(1‑β )LB 其中， LB表示边界损失函数， 边界损失函数的公式如下： 其中， ΔS＝|S|‑|S∩G|+|G| ‑|S∩G|， S为预测结果边界 上的像素点， G为真实标签边界上的像素点， p为标签边界上的任一像素点， q为 △S内的任一 像素点， DG(q)为两个 像素点之间的距离； β 初始值设置为1， 每一轮训练减小0.01； Limprove2为结合Dice损失函数和交叉熵损失函数的函数， 表达式为： Limprove2＝α Limprove1+(1‑α )LCE 其中α 为超参数， LCE为交叉熵损失函数， 公式如下： 其中， N为特征图中像素点的个数， pi∈[0,1]为模型预测的分割图中第i个像素点的 值， gi∈{0,1}为 二值标签中第i个 像素点的值； Limprove1为结合Dice损失函数与L og_Cosh损失函数的函数， 表达式为： Limprove1＝log(Cosh(LDice)) 所述Log_Cosh损失函数的公式如下： LLog_Cosh＝log(Cosh(x) ) 其中， LDice为Dice损失函数， 表达式如下： 其中， A、 B分别指模型预测结果与真实标签结果， smooth是平滑因子， N为特征图中像素 点的个数， pi∈[0,1]为模型预测的分割图中第i个像素点的值， gi∈{0,1}为二值 标签中第i 个像素点的值。 (4)将步骤(1 )得到的数据集输入改进型U ‑Net模型进行训 练、 测试， 获得最佳参数模 型， 输出预测效果图。 2.根据权利要求1所述的基于多尺度损失函数的改进型U ‑Net云图分割方法， 其特征在 于， 所述步骤(1)的具体过程如下： (1.1)获取全天空图像分割数据库包 含的天空—云图以及与其对应的二 值标签； (1.2)将训练样本被随机切分为小样本， 并对样本集采用数据增强方法， 将数据集扩充 为原来的十倍， 将其分为3 部分， 训练集占80％， 验证集占10％， 测试集占10％。权　利　要　求　书 1/3 页 2 CN 114998373 A 23.根据权利要求2所述的基于多尺度损失函数的改进型U ‑Net云图分割方法， 其特征在 于， 所述步骤(1.2)中， 数据增强方法包括随机修剪， 平 移变换和噪声扰动。 4.根据权利要求1所述的基于多尺度损失函数的改进型U ‑Net云图分割方法， 其特征在 于， 所述步骤(2)的具体过程如下： (2.1)利用改变卷积方式的方法改进U ‑Net具体为： 以U ‑Net分割模型为基础， 将编码部 分中前两层和第三层的第一个卷积换成可变形 卷积； (2.2)利用添加高效通道注意力机制的方法改进U ‑Net具体为： 以(2.1)模型为基础， 在 编码部分前三层输出的特征图后添加通道注意力机制， 编 码部分输出的特征图经过高效通 道注意力机制生成一维注意力向量后， 与原特征图进行对应元素相乘， 得到加权后的特征 图， 特征图大小不变， 对前三层加权后的特征图进 行下采样操作， 将前三层加权后的特征图 与解码部分的特 征图进行拼接操作； (2.3)利用修改归一化的方法改进U ‑Net具体为： 以(2.2)模型为基础， 将Weight   Normalization加在U ‑Net的卷积层和激活层中间， 重写深度网络的权重， 通过对网络参数 进行标准化实现归一 化操作； (2.4)利用添加多尺度特征融合的方法改进U ‑Net具体为： 以(2.3)模型为基础， 对编码 部分最后一层输出的特 征图和解码部分每一层输出的特 征图进行多尺度特 征融合。 5.根据权利要求4所述的基于多尺度损失函数的改进型U ‑Net云图分割方法， 其特征在 于， 所述(2.1)中编码部分为5层： 第一层包括2个相同的可变卷积块deform ‑conv11、 deform‑conv12， 可变卷积块主要由两个卷积块组成， 其中一个卷积块均由18个步长为1， padding为1， 大小为3 ×3的偏移量卷积核组成， 另一个卷积块分别由32个步长为1， padding 为1， 大小为3 ×3的标准卷积核conv11、 conv12组成； 第二层包括2个相同的可变卷积块 deform‑conv21、 deform ‑conv22， 可变卷积块主要由两个卷积块组成， 其中一个卷积块均由 18个步长为1， padding为1， 大小为3 ×3的偏移量卷积核组成， 另一个卷积块分别由64个步 长为1， padding为1， 大小为3 ×3的标准卷积核conv21、 conv22组成； 第三层包括2个卷积块 deform‑conv3和conv3， 其中conv3由128个步长为1， padding为1， 大小 为3×3的标准卷积核 组成， deform ‑conv3由18个步长为1， padding为1， 大小为3 ×3的偏移量卷积和conv3组成； 第四层包括2 个相同的卷积块conv4， 均由256个步长为1， padding为1， 大小为3 ×3的标准卷 积核组成； 第五层包括2个相同的卷积块conv5， 均由512个步长为1， padding为1， 大小为3 × 3的标准卷积核组成； 该模 型中解码部 分为4层： 均由一个上采样模块、 两个与编 码部分相对 应的相同的标准卷积模块组成， 各层各模块中卷积核的个数分别为(512,256,256)、 (256, 128,128)、 (128， 64， 64)、 (64,32,32)， 且核的大小均为3 ×3， 同时第四层包括一个卷积块， 由2个步长1， pad ding为1， 大小为1 ×1的卷积核组成。 6.根据权利要求4所述的基于多尺度损失函数的改进型U ‑Net云图分割方法， 其特征在 于， 所述步骤(2.4)中编码部分最后一层输出的特征图经过上采样与解码部分第一层输出 的特征图进行拼接， 将拼接后的特征图经过上采样和一个3 ×3×256的卷积与解码部分第 二层输出的特征图进行拼接， 将拼接后的特征图经过上采样和一个3 ×3×128的卷积与解 码部分第三层输出的特征图进 行拼接， 将拼接后的特征图经过上采样和一个3 ×3×64的卷 积与解码部分第四层输出的特征图进行拼接， 将拼接后的特征图经过3 ×3×32的卷积， 再 经过1×1的卷积核。权　利　要　求　书 2/3 页 3 CN 114998373 A 3