(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210670969.4 (22)申请日 2022.06.15 (71)申请人 南京林业大 学 地址 210037 江苏省南京市玄武区龙蟠路 159号 (72)发明人 杨婕　陈勇　于佳琳　 (74)专利代理 机构 南京钟山专利代理有限公司 32252 专利代理师 张力 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/40(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于CNN和GraphSAGE的苜蓿田杂草识别方 法 (57)摘要 本发明公开了基于CNN和GraphSAGE的苜蓿 田杂草识别方法， 包括： 步骤1： 输入杂草图像， 使 用CNN提取杂草图像特征； 步骤2： 基于杂草图像 特征的欧氏距离构建杂草特征矩 阵无向相似性 图； 步骤3： 杂草特征矩阵无向相似性图输入图神 经网络GraphSAGE进行杂草图像节点之间的传 播， 得到融合特征； 步骤4： 将融合特征输入分类 器， 基于特征相似性， 从图中的邻居节点中得到 未标记的杂草样本的标签信息， 实现杂草和苜蓿 分类。 本发 明可以充分利用杂草样 本之间的特征 关联性， 在仅有少量标记样本图像的情况下取得 较高的杂草识别率。 权利要求书1页 说明书4页 附图2页 CN 114882369 A 2022.08.09 CN 114882369 A 1.基于CNN和GraphSAGE的苜蓿田杂草识别方法， 其特 征在于， 包括： 步骤1： 输入杂草图像， 使用CN N提取杂草图像特 征； 步骤2： 基于杂草图像特 征的欧氏距离构建杂草特 征矩阵无向相似性图； 步骤3： 杂草特征矩阵无向相似性图输入图神经网络GraphSAGE进行杂草图像节点之间 的传播， 得到融合特 征； 步骤4： 将融合特征输入分类器， 基于特征相似性， 从图中的邻居节点中得到未标记 的 杂草样本的标签信息， 实现杂草和苜蓿分类。 2.根据权利 要求1所述的基于CNN和GraphSAGE的苜蓿田杂草识别方法， 其特征在于， 所 述步骤1采用的CNN为微调后的ResNet ‑101算法模型， 微调方式为： 去掉全连接层， 只保留卷 积池化部分以进行杂草图像特 征提取。 3.根据权利 要求2所述的基于CNN和GraphSAGE的苜蓿田杂草识别方法， 其特征在于， 所 述步骤1具体为： 输入原始的杂草图像， 图像经过卷积层的下采样 计算、 池化提取特征， 将最 后一层池化层得到的特 征图转化为一维数组， 作为杂草图像的特 征信息。 4.根据权利 要求1所述的基于CNN和GraphSAGE的苜蓿田杂草识别方法， 其特征在于， 所 述步骤2将每一个杂草样本都被看成是一个图节点， 基于杂草图像特征 的欧氏距离构建杂 草特征矩阵无向相似性图G＝(V,E,X)； 其中， V为图节点； E是边缘集， 代表杂草样本节点之间的 由欧氏距离得到的特 征相似度； X是输入特 征矩阵， 即CN N提取到的杂草图像特 征。 5.根据权利 要求1所述的基于CNN和GraphSAGE的苜蓿田杂草识别方法， 其特征在于， 所 述步骤3将杂 草特征矩阵无 向相似性图输入图神经网络GraphSAGE， GraphSAGE根据节点上 结构和特 征的信息在点与点之间传递。 6.根据权利 要求5所述的基于CNN和GraphSAGE的苜蓿田杂草识别方法， 其特征在于， 所 述GraphSAGE通过聚合函数进行一次迭代的信息的传递过程， 一个节点可以聚合邻居的信 息， 并且通过更新函数更新当前节点的信息， 随着迭代次数的增加， 一个节点能够聚合到更 高阶邻居的信息， 从而实现杂草图像节点之间的传播。 7.根据权利 要求6所述的基于CNN和GraphSAGE的苜蓿田杂草识别方法， 其特征在于， 所 述步骤3包括： 1)采样方式为以节点 为中心的邻居节点进行抽样； 采样算法采用小批量， 给定一个输入节点的集合， 采样它们的邻居节点， 即一阶邻居， 对于一阶邻居， 采样它 们的邻居， 即二阶邻居， 直到K阶邻居采样完成。 2)采用如下两种聚合 函数对节点的邻居 进行聚合： 均值聚合函数， 对当前节点及其邻居节点进行均值操作， 所述均值操作即GCN中的卷积 操作， 是对节点及其邻居向量的局部谱图卷积的线性相似； 池化均值函数， 将所有邻居的向量放进一个全连接网络然后接上一个最大池化层或者 平均池化层。 3)根据邻居节点的聚合信息对中心节点进行特征学习， 经过多次谱图卷积后， 中心节 点获得图模型 上其他抽样节点的特 征， 实现特 征融合。权　利　要　求　书 1/1 页 2 CN 114882369 A 2基于CNN和GraphSAGE的苜蓿田杂 草识别方 法 技术领域 [0001]本发明属于图像识别技术领域， 具体涉及 基于CNN和Grap hSAGE的苜蓿田杂草识别 方法。 背景技术 [0002]紫花苜蓿是豆科苜蓿属多年生草本植物， 是我国的主要牧草之一， 因具有产量高、 品质好、 根系发达、 耐寒耐旱等优点， 被誉为 “牧草之王 ”。 种植紫花苜蓿可以改良土壤、 保持 水土， 起到保护生态环境的重要作用。 紫花苜蓿含有丰富的矿物质和大量的粗蛋白， 被认 为 是牲畜重要的饲料作物， 是奶牛最 好的饲料。 [0003]紫花苜蓿苗期生长缓慢， 杂草是苜蓿生产过程中的一项重大威胁， 它们会与苜蓿 竞争养分、 空间、 阳光和水， 危害时间长， 会造成苜蓿幼苗弱小、 根系生长困难， 难以形成群 落， 从而降低牧草产量和营养价值。 此外， 某些杂草种类如紫苏薄荷含有对牲畜有害的物 质， 所以杂草防控应该贯 穿于苜蓿生产全程。 [0004]化学除草常用于苜蓿杂草防治。 通常情况下， 除草剂以地毯式方式喷施， 这种方式 降低了除草剂的利用率。 精准喷施除草剂， 可以显著降低除草剂的投入和杂草管理成本。 除 草剂的精准喷施是指基于杂草识别的基础智能地检测 和去除杂草。 [0005]近年来， 深度学习被逐步应用到杂草识别领域， 但是综合国内外研究现状， 尚未有 研究学者对苜蓿田杂草进行识别的相关研究。 发明内容 [0006]本发明所要解决的技术问题是针对上述现有技术的不足， 提供一种基于CNN (Convolutional  Neural Network)和图神经网络GraphSAGE(Sample  and Aggregate)的苜 蓿田杂草识别方法， 该方法可以充分利用杂草样本之间的特征关联性， 在仅有少量标记样 本图像的情况 下取得较高的杂草识别率。 [0007]为实现上述 技术目的， 本发明采取的技 术方案为： [0008]基于CNN和GraphSAGE的苜蓿田杂草识别方法， 包括： [0009]步骤1： 输入杂草图像， 使用CN N提取杂草图像特 征； [0010]步骤2： 基于杂草图像特 征的欧氏距离构建杂草特 征矩阵无向相似性图； [0011]步骤3： 杂草特征矩阵无向相似性图输入图神经 网络Grap hSAGE进行杂草图像节点 之间的传播， 得到融合特 征； [0012]步骤4： 将融合特征输入分类器， 基于特征相似性， 从图中的邻居节点中得到未标 记的杂草样本的标签信息， 实现杂草和苜蓿分类。 [0013]为优化上述 技术方案， 采取的具体措施还 包括： [0014]上述的步骤1采用的CNN为微调后的ResNet ‑101算法模型， 微调 方式为： 去掉全连 接层， 只保留卷积池化部分以进行杂草图像特 征提取。 [0015]上述的步骤1具体为： 输入原始的杂草图像， 图像经过卷积层的下采样计算、 池化说　明　书 1/4 页 3 CN 114882369 A 3