(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211087499.5 (22)申请日 2022.09.07 (71)申请人 广州市派客朴食信息科技有限责任 公司 地址 510000 广东省广州市天河区广州大 道北52号 二层252铺 (72)发明人 陈晓鹏　赵晓红　 (74)专利代理 机构 广州致信 伟盛知识产权代理 有限公司 4 4253 专利代理师 伍嘉陵 (51)Int.Cl. G06V 20/68(2022.01) G06V 10/82(2022.01) G06V 10/75(2022.01) G06V 10/74(2022.01)G06V 10/44(2022.01) G06V 10/22(2022.01) G06T 7/73(2017.01) G06T 7/66(2017.01) G06T 5/30(2006.01) (54)发明名称 一种基于深度学习的餐盘定位识别菜品信 息方法 (57)摘要 本发明公开的基于深度学习的餐盘定位识 别菜品信息方法， 读取入库餐盘模板信息并提取 其模板特征和轮廓图、 订单图像， 由深度学习模 型进行图像定位和轮廓提取， 进行轮廓二次提取 得到餐盘轮廓图， 计算订单图中所有餐盘的匹配 重心定位图， 循环读取初始化后入库餐盘模板在 不同角度下的信息， 通过需识别餐盘特征值与入 库餐盘模板在不同角度下的信息进行计算出待 识别餐盘轮廓与当前模板轮廓最优TopN个重合 位置坐标， 计算待识别餐盘与当前餐盘模板之间 的梯度余弦相似度值， 储存当前餐盘模板的id在 当前角度下最大匹配分数值， 将当前餐盘模板的 id在当前角度下最大匹配分数值与全局的最大 匹配分数值进行对比赋值， 计算订单图中各餐盘 对应的价格、 菜品、 营养信息 。 权利要求书1页 说明书4页 附图2页 CN 115424258 A 2022.12.02 CN 115424258 A 1.一种基于深度学习的餐盘定位识别菜品信息方法， 其特 征在于， 包括以下步骤： S1、 初始化深度 学习模型， 读取入库餐盘模板信息并提取其模板特征和轮廓图， 读取已 录入当餐菜品类别和其对应的营养信息， 餐盘模板信息包括餐盘模板的ID号； S2、 读取需要识别匹配的订单图像， 使用深度学习模型进行图像定位和餐盘 轮廓提取； S3、 对提取的订单图像 轮廓进行轮廓二次提取 得到餐盘 轮廓图； S4、 提取餐盘 轮廓图的特 征信息， 并计算 订单图中所有餐盘的匹配重心定位图； S5、 循环读取订单图内 需识别餐盘信息， 包括匹配重心定位图和特 征值； S6、 循环读取初始化后入库餐盘模板在不同角度下的信息， 包括轮廓相对坐标和特征 值； S7、 以匹配重心定位 图中的待识别餐盘轮廓的重心点为基准重心， 设置N ×N的重心偏 移量计算与入库餐盘模板在不同角度下的最优重合位置坐标， 取其TopN作为参考匹配重心 点； S8、 循环遍历提取最优重合位置坐标， 计算待识别餐盘与当前餐盘模板之间的梯度余 弦相似度值， 并储 存当前餐盘模板的id在当前角度下最大匹配分数值; S9、 将当前餐盘模板的id在当前角度下最大匹配分数值与全局的最大匹配分数值进行 对比， 若当前餐盘模板的id在当前角度下最大匹配分数值大于全局的最大匹配分数值， 则 将当前餐盘模板的id在当前角度下最大匹配分数值赋予全局的最大匹配分数值， 当前餐盘 模板的id赋予全局最优匹配餐盘模板的ID； S10、 根据每个餐盘对应的全局最优匹配餐盘模板的ID和其对应的最大匹配分数值计 算出订单图中各餐盘对应的菜品价格、 订单总价、 菜品名和其营养信息 。 2.根据权利要求1所述的基于深度学习的餐盘定位识别菜 品信息方法， 其特征在于， 所 述步骤S3包括： S3‑1、 对提取的订单图像轮廓进行分通道轮廓提取， 并将各通道轮廓图进行融合得到 通道图； S3‑2、 将深度学习提取的轮廓进行膨胀腐蚀操作取 出的轮廓边 缘图； S3‑3、 通过轮廓边 缘图和通道图相交运 算得到边 缘环状图； S3‑4、 查找边缘环状图中各轮廓满足其轮廓面积大于阈值的轮廓并存储为餐盘轮廓 图。 3.根据权利要求1所述的基于深度学习的餐盘定位识别菜 品信息方法， 其特征在于， 所 述步骤S7包括： S7‑1、 通过订单图中餐盘 轮廓图的匹配重心定位图与当前模板图进行重合投票计算； S7‑2、 设置匹配N ×N的偏移量， 搜索出每 个假设重心点的重合度； S7‑3、 排序后取TopN个作为 最优重合 位置坐标， 取其TopN作为 参考匹配重心点。权　利　要　求　书 1/1 页 2 CN 115424258 A 2一种基于深度学习的餐 盘定位识别菜品信息方 法 技术领域 [0001]本发明涉及餐盘和菜品识别领域， 特别是一种基于深度学习的餐盘定位识别菜品 信息方法。 背景技术 [0002]现有餐厅食堂中主要的结算方式包括传统人工卡机结算、 基于RFID芯片识别结 算、 基于图像识别和基于深度图像 检测识别等方法。 [0003]传统人工卡机结算方式是需要安排人工实时使用卡机进行订单结算， 其需要投入 人力， 且在就餐高峰期会影响其结算效率， 而且容 易出现价格 计算错误。 [0004]基于RFID芯片识别结算则是使用定制带有RFID芯片的餐盘， 通过RFID解码器读取 绑定餐盘信息进 行订单结算， 其需要定制嵌入RFID芯片的餐具， 对于这类餐具的成本较高， 维护成本也高， 且无法使用各类材质的餐盘。 [0005]基于图像识别的方法是根据餐盘的形状大小、 纹理图案和颜色等特征信息与餐盘 价格信息关联， 通过视觉模块采集订单图片给结算设备进行识别结算。 该方式对餐盘的形 状大小、 纹理图案和颜色均有要求， 且对部署场景环境也有比较苛刻的要求， 导致 实际使用 中存在环境 适应性差， 低识别率和误识别率高等 缺陷。 [0006]基于深度图像检测识别方法则是通过深度学习检测模型对视觉模块采集订单图 片上的餐盘进行定位， 将定位到的餐盘使用传统图像提取其形状大小、 纹理图案和颜色等 特征信息进 行识别计价， 该方式仍然对餐盘和场景要求较高， 识别准确率和鲁棒性 都较差； 此外对设备性能要求较高， 加大了设备的投入成本 。 发明内容 [0007]本发明的目的在于提供一种投入 成本低、 识别准确率高的基于深度学习的餐盘定 位识别菜品信息方法。 [0008]本发明提供了一种基于深度学习的餐盘定位识别菜品信息方法， 包括以下步骤： S1、 初始化深度学习模型， 读取入库餐盘模板信息并提取其模板特征和轮廓图， 读 取已录入当餐菜品类别和其对应的营养信息， 餐盘模板信息包括餐盘模板的ID号； S2、 读取需要识别匹配 的订单图像， 使用深度学习模型进行 图像定位和 餐盘轮廓 提取； S3、 对提取的订单图像 轮廓进行轮廓二次提取 得到餐盘 轮廓图； S4、 提取餐盘 轮廓图的特 征信息， 并计算 订单图中所有餐盘的匹配重心定位图； S5、 循环读取订单图内 需识别餐盘信息， 包括匹配重心定位图和特 征值； S6、 循环读取初始化后入库餐盘模板在不同角度下的信息， 包括轮廓相对坐标和 特征值； S7、 以匹配重心定位图中的待识别餐盘轮廓的重心点为基准重心， 设置N ×N的重 心偏移量计算与入库餐盘模板在不同角度下的最优重合位置坐标， 取其TopN作为参考匹配说　明　书 1/4 页 3 CN 115424258 A 3