(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210837001.6 (22)申请日 2022.07.15 (71)申请人 四创电子股份有限公司 地址 230000 安徽省合肥市高新 技术产业 开发区习友路3 366号 (72)发明人 宦思琪　余保华　吴艳平　尤英婕　 张金国　徐圣吉　吴彦衡　陈荣波　 丁斌　钟振江　 (74)专利代理 机构 北京和信华成知识产权代理 事务所(普通 合伙) 11390 专利代理师 申龙华 (51)Int.Cl. G06V 20/68(2022.01) G06V 10/44(2022.01) G06V 10/46(2022.01)G06V 10/56(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/74(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多类别特征融合的食材图像分类 方法 (57)摘要 本发明公开了一种基于多类别特征融合的 食材图像分类方法， 属于食材分类技术领域， 具 体步骤包括： 步骤一： 获取拍摄背景接近、 彼此无 重叠的食材图片； 步骤二： 根据食材图片获取每 幅图片的LBP局部二值特征、 Gabor小波特征、 HSV 颜色特征三个低层特征； 步骤三： 从两个不同的 卷积神经网络预训练模型中将权重参数迁移到 定义的新模 型中， 并提取经过训练后的两个新模 型中全连接层输出的深层特征进行特征融合； 步 骤四： 通过计算待检索图像与数据集中样本图像 之间的匹配度， 得出深层特征分类结果与低层特 征分类结果， 将结果进行决策融合， 通过分配不 同权重得出适用于实际使用数据集的分类模型。 权利要求书1页 说明书4页 附图2页 CN 115393844 A 2022.11.25 CN 115393844 A 1.一种基于多类别特 征融合的食材图像分类方法， 其特 征在于， 具体步骤 包括： 步骤一： 获取拍摄背景接 近、 彼此无重叠的食材图片； 步骤二： 根据食材 图片获取每幅图片的LBP局部二值特征、 Gabor小波特征、 HSV颜色特 征三个低层特 征； 步骤三： 从两个不同的卷积神经网络预训练模型中将权重参数迁移到定义的新模型 中， 并提取 经过训练后的两个新模型中全连接层输出的深层特 征进行特征融合； 步骤四： 通过计算待检索图像与数据集中样本 图像之间的匹配度， 得出深层特征分类 结果与低层特征分类结果， 将结果进行决策融合， 通过分配不同权重得出适用于实际使用 数据集的分类模型。 2.根据权利要求1所述的一种基于多类别特征融合的食材图像分类方法， 其特征在于， 步骤一中所需要获取的食材图片去重后数量 根据需要能够低于10张。 3.根据权利要求1所述的一种基于多类别特征融合的食材图像分类方法， 其特征在于， 步骤二中获取食材图片的低层特征可选， 当食材种类不高于20种时， 能够仅获取两种低层 特征。 4.根据权利要求1所述的一种基于多类别特征融合的食材图像分类方法， 其特征在于， 步骤三中所使用的预训练模型为VG G16和VGG19， 且特 征融合的方法为ad d方法。 5.根据权利要求1所述的一种基于多类别特征融合的食材图像分类方法， 其特征在于， 步骤四中将结果进行决策融合的方法为： 在相近图像数据集上训练VGG16和VGG19两个预训练模型， 将它们的权重参数迁移到新 模型中， 进 行训练和微调， 分别提取两个新模型卷积层后的两个全连接层； 经过全连接层计 算后二维的特征图转为一维的向量， 将相 应层次的输出值都转换成一维的特征向量， 由此 将数据集中的图像样本中提取的特 征存储在特征库中。 6.根据权利要求5所述的一种基于多类别特征融合的食材图像分类方法， 其特征在于， 在进行决策融合前， 先对表达图像的特 征向量进行L2范 数归一化。 7.根据权利要求1所述的一种基于多类别特征融合的食材图像分类方法， 其特征在于， 步骤四中匹配度的计算采用欧氏距离 。权　利　要　求　书 1/1 页 2 CN 115393844 A 2一种基于多类别特征融合的食材图像分类方 法 技术领域 [0001]本发明属于食材分类技术领域， 具体是一种基于多类别特征融合的食材图像分类 方法。 背景技术 [0002]现有技术中， 在物资运输、 食材出入库时， 大多采用人眼辨认分类的方法， 该方法 依赖于人力且工作人员必须熟识所有食材品种。 通过图像算法对食材进行分类时， 常常依 赖于单一的模型分类结果， 这类方法无法避免因单一模型的训练不 足导致分类结果出现偏 差， 且在采集图像数据集 不充足的情况 下， 难以避免模型 过拟合的问题。 发明内容 [0003]本发明的目的在于提供一种基于多类别特征融合的食材图像分类方法， 在提高分 类的可靠性、 精确度的同时， 适用于图像数据集样本不 足的情况， 该方法对于待处理数据的 要求不高， 能够实现食材的快速出入库， 尤其是在少样本、 多种类的情况下有着较好的分类 效果， 以解决上述背景技 术中提出的问题。 [0004]本发明的目的可以通过以下技 术方案实现： [0005]一种基于多类别特 征融合的食材图像分类方法， 具体步骤 包括： [0006]步骤一： 获取拍摄背景接 近、 彼此无重叠的食材图片； [0007]步骤二： 根据食材图片获取每幅图片的LBP局部二值特征、 Gabor小波特征、 HSV颜 色特征三个低层特 征； [0008]步骤三： 从两个不同的卷积神经网络预训练模型 中将权重参数迁移到定义的新模 型中， 并提取 经过训练后的两个新模型中全连接层输出的深层特 征进行特征融合； [0009]步骤四： 通过计算待检索图像与数据集中样本图像之间的匹配度， 得出深层特征 分类结果与低层特征分类结果， 将结果进行决策融合， 通过分配不同权重得出适用于实际 使用数据集的分类模型。 [0010]进一步地， 步骤一中所需要获取的食材图片去重后数量 根据需要能够低于10张。 [0011]进一步地， 步骤二中获取食材图片的低层特征可选， 当食材种类不高于20种时， 能 够仅获取两种低层特 征。 [0012]进一步地， 步骤三中所使用的预训练模型为VGG16和VGG19， 且特征融合的方法为 add方法。 [0013]进一步地， 步骤四中将结果进行决策融合的方法为： [0014]在相近图像数据集上训练VGG16和VGG19两个预训练模型， 将它们的权重参数迁移 到新模型中， 进行训练和微调， 分别提取两个新模 型卷积层后的两个全连接层； 经过全连接 层计算后二维的特征图转为一维的向量， 将相 应层次的输出值都转换成一维的特征向量， 由此将数据集中的图像样本中提取的特 征存储在特征库中。 [0015]进一步地， 在进行决策融合前， 先对表达图像的特 征向量进行L2范 数归一化。说　明　书 1/4 页 3 CN 115393844 A 3