(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211068469.X (22)申请日 2022.09.02 (65)同一申请的已公布的文献号 申请公布号 CN 115123839 A (43)申请公布日 2022.09.30 (73)专利权人 杭叉集团股份有限公司 地址 311305 浙江省杭州市临安区相府路 666号 专利权人 浙江杭叉智能科技有限公司 (72)发明人 王志杰　刘斌　李逐原　董翀　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 赵怡琳 (51)Int.Cl. B65G 57/22(2006.01)B66F 9/06(2006.01) B66F 9/075(2006.01) G06T 17/00(2006.01) G06V 10/74(2022.01) G06T 7/73(2017.01) G06V 10/82(2022.01) G06V 10/80(2022.01) 审查员 郭会珍 (54)发明名称 一种基于AGV的料箱堆叠方法、 装置、 设备及 存储介质 (57)摘要 本申请公开了一种基于AGV的料箱堆叠方 法、 装置、 设备及存储介质， 涉及自动堆叠技术领 域， 包括： 当AGV行进至卸货准备点时， 通过视觉 识别系统获取货叉上方料箱和卸货层料箱的图 像数据和深度数据， 构建货叉上方料箱的第一料 箱三维模型和卸货层料箱的第二料箱三维模型； 判断模型是否满足堆叠要求； 若不满足， 则确定 模型间的偏移量数据， 车控系统根据偏移量数据 调整货叉上方箱体的位姿， 直至满足堆叠要求， 则将料箱堆叠在卸货层料箱上。 本申请判断通过 视觉识别系统获取图像数据和深度数据构建的 三维模型是否满足堆叠要求， 若不满足， 则根据 确定出偏移量数据调整货叉上方箱 体的位姿， 直 至满足时， 将料箱堆叠在卸货层料箱上， 提高料 箱堆叠精度。 权利要求书2页 说明书9页 附图4页 CN 115123839 B 2022.12.09 CN 115123839 B 1.一种基于AGV的料箱堆叠方法， 其特 征在于， 所述料箱为 黑色料箱， 包括： 当AGV行进至卸货准备点时， 通过视觉识别系统获取货叉上方料箱和卸货层料箱的图 像数据和深度数据， 并利用所述图像数据和深度数据构建所述货叉上方料箱的第一料箱 三 维模型和所述卸货层料箱的第二料箱三维模型； 判断所述第一料箱三维模型和所述第二料箱三维模型 是否满足当前堆叠要求； 若不满足， 则确定所述第一料箱三维模型与所述第二料箱三维模型之间的偏移量数 据， 并将所述偏移 量数据发送至车控系统中以便所述车控系统根据所述偏移 量数据调整 所 述货叉上方料箱的位姿； 在调整所述货叉上方料箱的所述位姿之后， 重新执行所述获取货叉上方料箱和卸货层 料箱的图像数据和深度数据步骤， 直至构建出的所述第一料箱 三维模型和所述第二料箱 三 维模型满足当前 所述堆叠要求时， 则将所述货叉 上方料箱堆叠在所述卸货层料箱上； 其中， 所述视觉识别系统包括RGB相机、 TOF相机、 限位开关、 工控机、 电源； 其中， 所述 RGB相机水平且正向安装在所述AGV的两侧， 所述TOF相机水平且正向安装在所述AGV的中 间， 所述限位开关安装在所述货叉 的根部， 所述工控机用于对所述图像数据和所述深度数 据进行融合和处 理以构建出三维模型， 所述限位 开关用于限制货叉 上托盘的位姿； 所述通过视觉识别系统获取货叉上方料箱和卸货层料箱的图像数据和深度数据， 包 括： 通过视觉识别系统中的所述RGB相机获取所述货叉上方料箱和所述卸货层料箱的图像 数据， 并通过所述视觉识别系统中的所述TOF相 机获取所述货叉上方料箱和所述卸货层料 箱的深度数据。 2.根据权利要求1所述的基于AGV的料箱堆叠方法， 其特征在于， 所述利用所述图像数 据和深度数据构建所述货叉上方料箱的第一料箱三维模型和所述卸货层料箱的第二料箱 三维模型， 包括： 提取所述图像数据中的细节特征， 并将所述细节特征与 预先构建的目标神经网络输出 的三维特 征进行匹配得到相应的匹配结果； 判断所述匹配结果是否满足预设匹配要求； 当所述匹配结果满足所述预设匹配要求时， 则基于所述细节特征、 所述三维特征以及 所述深度数据构建所述货叉上方料箱的第一料箱三维模型和所述卸货层料箱的第二料箱 三维模型。 3.根据权利要求2所述的基于AGV的料箱堆叠方法， 其特征在于， 所述将所述细节特征 与预先构建的目标神经网络 输出的三维特 征进行匹配得到相应的匹配结果， 包括： 将所述细节特征与基于Yolo5算法预先构建的目标神经网络模型输出的三维特征进行 匹配得到相应的匹配结果。 4.根据权利要求1所述的基于AGV的料箱堆叠方法， 其特征在于， 所述确定所述第一料 箱三维模型与所述第二料箱三维模型之间的偏移量数据， 包括： 确定所述第一料箱三维模型与所述第二料箱三维模型之间的前后偏移量和左右偏移 量。 5.根据权利要求1至4任一项所述的基于AGV的料箱堆叠方法， 其特征在于， 所述将所述 偏移量数据发送至车控系统中 以便所述车控系统根据所述偏移量数据调整所述货叉上方权　利　要　求　书 1/2 页 2 CN 115123839 B 2料箱的位姿， 包括： 将所述偏移量数据发送至车控系统中以便所述车控系统根据所述偏移量数据调用门 架前移功能和货叉侧移 功能控制所述AGV调整所述货叉 上方料箱的位姿。 6.一种基于AGV的料箱堆叠装置， 其特 征在于， 所述料箱为 黑色料箱， 包括： 数据获取模块， 用于当AGV行进至卸货准备点时， 通过视觉识别系统获取货叉上方料箱 和卸货层料箱的图像数据和深度数据； 三维模型构建模块， 用于利用所述图像数据和深度 数据构建所述货叉上方料箱的第 一 料箱三维模型和所述卸货层料箱的第二料箱三维模型； 堆叠要求判断模块， 用于判断所述第 一料箱三维模型和所述第 二料箱三维模型是否满 足当前堆叠要求； 偏移量确定模块， 用于当所述第 一料箱三维模型和所述第 二料箱三维模型不满足当前 所述堆叠要求时， 则确定所述第一料箱 三维模型与所述第二料箱三 维模型之间的偏移量数 据； 位姿调整模块将所述偏移量数据发送至车控系统中以便所述车控系统根据所述偏移 量数据调整所述货叉 上方料箱的位姿； 料箱堆叠模块， 用于在调整所述货叉上方料箱 的所述位姿之后， 重新执行所述获取货 叉上方料箱和卸货层料箱的图像数据和深度数据步骤， 直至构建出的所述第一料箱 三维模 型和所述第二料箱 三维模型满足当前所述堆叠要求时， 则将所述货叉上方料箱 堆叠在所述 卸货层料箱上； 其中， 所述视觉识别系统包括RGB相机、 TOF相机、 限位开关、 工控机、 电源； 其中， 所述 RGB相机水平且正向安装在所述AGV的两侧， 所述TOF相机水平且正向安装在所述AGV的中 间， 所述限位开关安装在所述货叉 的根部， 所述工控机用于对所述图像数据和所述深度数 据进行融合和处 理以构建出三维模型， 所述限位 开关用于限制货叉 上托盘的位姿； 所述数据获取模块， 包括： 图像数据获取单元， 用于通过视觉识别系统中的所述RGB相机获取所述货叉上方料箱 和所述卸货层料箱的图像数据； 深度数据获取单元， 用于通过所述视觉识别系统中的所述TOF相机获取所述货叉上方 料箱和所述卸货层料箱的深度数据。 7.一种电子设备， 其特 征在于， 包括： 存储器， 用于保存计算机程序； 处理器， 用于执行所述计算机程序， 以实现如权利要求1至5任一项所述的基于AGV的料 箱堆叠方法的步骤。 8.一种计算机可读存储介质， 其特征在于， 用于存储计算机程序； 其中， 所述计算机程 序被处理器执行时实现如权利要求1至 5任一项所述的基于AGV的料箱堆叠方法的步骤。权　利　要　求　书 2/2 页 3 CN 115123839 B 3