(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210587300.9 (22)申请日 2022.05.25 (71)申请人 仲恺农业工程学院 地址 510220 广东省广州市海珠区纺织路 东沙街24 号 (72)发明人 郑建华　刘双印　朱蓉　曹亮　 冯大春　杨高林　张子豪　林中举　 黎潜慧　李锦慧　 (74)专利代理 机构 长沙轩荣专利代理有限公司 43235 专利代理师 丛诗洋 (51)Int.Cl. G06V 20/05(2022.01) G06V 10/22(2022.01) G06V 10/40(2022.01)G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于深度学习的池塘死鱼检测方法、 装置、 设备及介质 (57)摘要 本公开实施例中提供了一种基于深度学习 的池塘死鱼检测方法、 装置、 设备及介质， 属于图 像处理技术领域， 具体包括： 采集目标区域对应 的第一图像； 通过改进的Yo  l oV5死鱼检测模型 检测第一图像中是否存在死鱼； 若是， 采集目标 区域对应的第二图像， 若否， 则返回步骤1； 通过 改进的Yo l oV5死鱼检测模型检测第二图像中 是否存在死鱼； 若是， 通过 RestNet特征提取模型 获取第一图像和第二图像的特征向量， 若否， 则 返回步骤1； 根据第一图像和第二图像的特征向 量计算第一图像和第二图像的相似度； 当相似度 小于阈值时， 发送预警信号。 通过本公开的方案， 提高了死鱼检测的实时性、 效率和精准度。 权利要求书2页 说明书9页 附图2页 CN 114937200 A 2022.08.23 CN 114937200 A 1.一种基于深度学习的池塘 死鱼检测方法， 其特 征在于， 包括： 步骤1， 采集目标区域对应的第一图像； 步骤2， 通过改进的Yo loV5死鱼检测模型检测所述第一图像中是否存在死鱼； 步骤3， 当所述第一图像中存在死鱼时， 采集所述目标区域对应的第二图像， 若所述第 一图像中不存在死鱼， 则返回步骤1； 步骤4， 通过改进的Yo loV5死鱼检测模型检测所述第二图像中是否存在死鱼； 步骤5， 当所述第二图像中存在死鱼时， 通过RestNet特征提取模型获取所述第一图像 和所述第二图像的特 征向量， 若所述第二图像中不存在死鱼， 则返回步骤1； 步骤6， 根据所述第一图像和所述第二图像的特征向量计算所述第一图像和所述第二 图像的相似度； 步骤7， 当所述相似度小于阈值时， 发送预警信号。 2.根据权利要求1所述的方法， 其特 征在于,所述 步骤2之前， 所述方法还 包括： 收集多张含有死鱼的样本图片， 采用预设的目标检测标记工具标记图片中的死鱼位 置， 以上图片 构成死鱼目标检测模型的训练集和 测试集； 以Yolov5s模型为基础， 将Transformer  encoder替换Yolov5s模型的BackBone部分中 的部分卷积层， 将BackBone部分1/4,1/8,1/16,1/32输出特征层与Neck部分的特征进行融 合， 形成4个不同尺寸的特征图输出到Prediction部分， 同时在Yolov5s模型的第3 ‑4和5‑6 卷积模块操作之间引入通道注 意力SENet Layer模块， 最终形成改进的YoloV5死鱼检测网络 结构； 将所述训练集输入到改进 的YoloV5死鱼检测网络结构， 并采用所述测试集进行测试， 训练epoch预设次数， 训练的优化方法和损失函数与Yolov5s原来的模型保持一致， 最后保 持训练后的模型权 重,形成改进的Yo loV5死鱼检测模型。 3.根据权利要求1所述的方法， 其特 征在于,所述 步骤5之前， 所述方法还 包括： 选取多张死鱼的图片和多 张含有杂物背景的图片， 以上图片构 成死鱼模型训练集和测 试集； 修改现有的RestNet模型， 将原模型最后一层全连接层FC， 修改为两层全连接FC层， 具 体为全连接层FC1， 全连接层FC2， 其中全连接层FC2的2 代表类别为死鱼和背景两个 类别； 加载在ImageNet数据集上已经训练好的RestNet的模型权重， 在死鱼模型训练集训练 修改后的RestNet模型， 并采用测试集进行测试， 训练epoch次数为1000， 保持训练后的模 型 权重； 重新读取修改后的RestNet模型， 加载第三步训练后的模型权重， 形成RestNet特征提 取模型， 并将RestNet特征提取模型的全连接层FC1的1024维特征作为输入图片的特征向 量。 4.根据权利要求3所述的方法， 其特征在于,所述第 一图像和所述第 二图像的特征向量 均为1024维特 征。 5.根据权利要求1所述的方法， 其特征在于,所述第 二图像与 所述第一图像的采集间隔 大于2秒钟。 6.根据权利要求1所述的方法， 其特 征在于,所述 步骤6具体包括： 将所述第一图像和所述第 二图像的特征向量输入余弦相似度公式， 计算所述第 一图像权　利　要　求　书 1/2 页 2 CN 114937200 A 2和所述第二图像的相似度。 7.一种基于深度学习的池塘 死鱼检测装置， 其特 征在于， 包括： 第一采集模块， 用于采集目标区域对应的第一图像； 第一检测模块， 用于通过改进的YoloV5死鱼检测模型检测所述第一图像中是否存在死 鱼； 第二采集模块， 用于当所述第一图像中存在死鱼时， 采集所述目标区域对应的第二图 像， 若所述第一图像中不存在死鱼， 则返回步骤1； 第二检测模块， 用于通过改进的YoloV5死鱼检测模型检测所述第二图像中是否存在死 鱼； 提取模块， 用于当所述第二图像中存在死鱼时， 通过RestNet特征提取模型获取所述第 一图像和所述第二图像的特 征向量， 若所述第二图像中不存在死鱼， 则返回步骤1； 计算模块， 用于根据 所述第一图像和所述第 二图像的特征向量计算所述第 一图像和所 述第二图像的相似度； 预警模块， 用于当所述相似度小于阈值时， 发送预警信号。 8.一种电子设备， 其特 征在于， 所述电子设备包括： 至少一个处 理器； 以及， 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处 理器执行， 以使所述至少一个处理器能够执行前述权利要求1 ‑6中任一项所述的基于深度 学习的池塘 死鱼检测方法。 9.一种非暂态计算机可读存储介质， 该非暂态计算机可读存储介质存储计算机指令， 该计算机指令用于使 该计算机执行前述权利要求 1‑6中任一项 所述的基于深度学习的池塘 死鱼检测方法。权　利　要　求　书 2/2 页 3 CN 114937200 A 3