(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211071067.5 (22)申请日 2022.09.02 (71)申请人 哈尔滨工业大 学 地址 150001 黑龙江省哈尔滨市南岗区西 大直街92号 (72)发明人 唐一栋　冯凯伦　李雪来　刘昌永　 (74)专利代理 机构 黑龙江立超同创知识产权代 理有限责任公司 23217 专利代理师 杨立超　张妍飞 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/64(2022.01) G06V 10/82(2022.01) G06V 10/74(2022.01) G06T 7/80(2017.01) (54)发明名称 塔吊起吊重物时重物坠落伤人危险自动感 知方法及系统 (57)摘要 塔吊起吊重物时重物坠落伤人危险自动感 知方法及系统， 涉及施工现场安全管理技术领 域， 用以解决现有施工 现场的安全 管理由于仅依 靠人工而容易导致危险感知疏漏的问题。 本发明 的技术要点包括： 利用计算机视觉构建施工现场 的空间距离信息双目视觉感知模型和施工场景 动态目标实时检测模型， 获取塔吊吊钩、 起吊重 物、 人的三维坐标； 根据塔吊吊钩、 起吊重物、 人 的三维坐标判断是否存在重物坠落伤人危险； 其 中， 定义了风险角的概念， 将吊物坠落伤人风险 感知转化为对风险角的感知和计算。 本发明可适 用于不同施工项目的高泛化性能的建筑施工过 程安全风险感知模型， 为施工 现场安全管理自动 化提供了有效支持。 权利要求书2页 说明书10页 附图5页 CN 115457463 A 2022.12.09 CN 115457463 A 1.塔吊起吊重物时重物坠 落伤人危险自动感知方法， 其特 征在于， 包括以下步骤： 步骤一、 利用计算机视觉构建施工现场的空间距离信 息双目视觉感知模型和施工场景 动态目标实时检测模型， 获取塔吊 吊钩、 起吊重物、 人的三维坐标； 步骤二、 根据塔吊 吊钩、 起吊重物、 人的三维坐标判断是否存在重物坠 落伤人危险。 2.根据权利要求1所述的塔吊起吊重物时重物坠落伤人危险自动感知方法， 其特征在 于， 步骤一中所述空间距离信息双目视觉感知模型用于对双目相 机采集的图像进行处理， 获取图像内各个像素点对应的三 维坐标； 所述施工场景动态目标实时检测模型用于采用预 训练的基于Y OLOv5算法的目标检测模 型对图像中的塔吊吊钩、 起吊重物、 人进 行识别， 获取 塔吊吊钩、 起吊重物、 人的像素坐标。 3.根据权利要求2所述的塔吊起吊重物时重物坠落伤人危险自动感知方法， 其特征在 于， 步骤一中将利用所述施工场景动态目标实时检测模型获得的塔吊吊钩、 起吊重物、 人的 像素坐标与利用所述空间距离信息双目视觉感知 模型获得的三维坐标结合， 即基于塔吊吊 钩、 起吊重物、 人的像素坐标， 在立体匹配所得的深度图中寻找X轴和Y轴坐标与所述像素坐 标相同的像素点， 该像素点所对应的三维坐标即为塔吊 吊钩或起吊重物或人的三维坐标。 4.根据权利要求2或3所述的塔吊起吊重物时重物坠落伤人危险自动感知方法， 其特征 在于， 步骤一中对双目相 机采集的图像进行处理， 获取图像内各个像素点对应的三维坐标 的具体步骤 包括： 步骤一一、 预先对双目相机进行 标定， 获取相机的姿态、 内部参数和外 部参数； 步骤一二、 利用双目相机采集包含塔吊吊钩、 起吊重物、 人的左相机图像和右相机图 像， 并对双目相机采集的图像进行 校正； 步骤一三、 根据相机的内部参数和外部参数， 利用基于SGBM算法的立体匹配方法对校 正后的图像进行立体匹配， 获取包含像素位置信息的深度图， 即图像内各个像素点对应的 三维坐标。 5.根据权利要求4所述的塔吊起吊重物时重物坠落伤人危险自动感知方法， 其特征在 于， 步骤一 三为： 根据相机的内部参数， 利用基于SGBM算法的立体匹配方法对校正后的图像进行立体匹 配， 获取图像内各个 像素点在相机坐标系下对应的三维坐标； 建立施工现场坐标系， 以所述施工现场坐标系代替世界坐标系， 根据相机的姿态计算 获取施工现场坐标系与相机坐标系的转换矩阵； 所述施工现场坐标系是以双目系统中左相 机为坐标原点， 以重力方向为Y轴正方向， 以左相 机到右相 机的连线方向为X轴正方向的右 手直角坐标系， Z轴正方向与X轴与Y轴方向 向量的叉乘结果的方向一 致建立的坐标系； 根据施工现场 坐标系与相机坐标系的转换矩阵， 将图像 内各个像素点在相机坐标系下 对应的三 维坐标转换为施工现场坐标系下的三维坐标， 从而获取包含施工现场坐标系下像 素位置信息的深度图， 即图像内各个 像素点对应的三维坐标。 6.根据权利要求5所述的塔吊起吊重物时重物坠落伤人危险自动感知方法， 其特征在 于， 步骤二的具体步骤为： 定义危险区域为以起吊重物到地面投影位置为圆心的圆形区域， 预设起吊重物质点与圆形区域边缘点的连线与重力方向的夹角为风险角； 根据起吊重物和 人的三维坐标计算起吊重物质点与人的连线与重力方向的夹角， 若所述夹角小于或等于风 险角， 则存在重物坠 落伤人危险。权　利　要　求　书 1/2 页 2 CN 115457463 A 27.根据权利要求6所述的塔吊起吊重物时重物坠落伤人危险自动感知方法， 其特征在 于， 步骤二中还包括： 在存在多个起吊重物和塔吊吊钩的情况下， 基于预设距离阈值， 计算 塔吊吊钩与起 吊重物之间的距离， 确定起 吊重物是否被塔吊吊钩提起， 以排除未进行吊装 作业的塔吊及塔吊区域。 8.塔吊起吊重物时重物坠 落伤人危险自动感知系统， 其特 征在于， 包括： 位置获取模块， 其配置成利用计算机视觉构建施工现场的空间距离信 息双目视觉感知 模型和施工场景动态目标实时检测模型， 获取塔吊吊钩、 起吊重物、 人的三维坐标； 所述空 间距离信息双目视觉感知 模型用于对双目相机采集的图像进 行处理， 获取图像内各个像素 点对应的三 维坐标； 所述施工场景动态目标实时检测模型用于采用预训练的基于YOLOv5算 法的目标检测模 型对图像中的塔吊吊钩、 起吊重物、 人进 行识别， 获取塔吊吊钩、 起吊重物、 人的像素坐标； 获取塔吊吊钩、 起吊重物、 人的三维坐标的具体过程包括： 将利用所述施工 场景动态目标实时检测模型获得 的塔吊吊钩、 起 吊重物、 人 的像素坐标与利用所述空间距 离信息双目视觉感知模型获得的三维坐标结合， 即基于塔吊吊钩、 起吊重物、 人的像素坐 标， 在立体匹配所得的深度图中寻找X轴和Y轴坐标与所述像素坐标相同的像素点， 该像素 点所对应的三维坐标即为塔吊 吊钩或起吊重物或人的三维坐标； 危险感知模块， 其配置成根据塔吊吊钩、 起吊重物、 人的三维坐标判断是否存在重物坠 落伤人危险。 9.根据权利要求8所述的塔吊起吊重物时重物坠落伤人危险自动感知系统， 其特征在 于， 所述位置获取模块中对双目相 机采集的图像进行处理， 获取图像内各个像素点对应的 三维坐标的具体步骤 包括： 步骤一一、 预先对双目相机进行 标定， 获取相机的姿态、 内部参数和外 部参数； 步骤一二、 利用双目相机采集包含塔吊吊钩、 起吊重物、 人的左相机图像和右相机图 像， 并对双目相机采集的图像进行 校正； 步骤一三、 根据相机的内部参数， 利用基于SGBM算法的立体匹配方法对校正后的图像 进行立体匹配， 获取图像内各个像素点在相 机坐标系 下对应的三维坐标； 建立施工现场坐 标系， 以所述施工现场坐标系代替世界坐标系， 根据相 机姿态计算获取施工现场坐标系与 相机坐标系的转换矩阵； 所述施工现场坐标系 是以双目系统中左相 机为坐标原点， 以重力 方向为Y轴正方向， 以左相机到右相机的连线方向为X轴正方向的右手直角坐标系， Z轴正方 向与X轴与Y轴方向向量的叉乘结果的方向一致建立的坐标系； 根据 施工现场坐标系与相机 坐标系的转换矩阵， 将图像内各个像素点在相机坐标系下对应的三 维坐标转换为施工现场 坐标系下的三维坐标， 从而获取包含施工现场坐标系 下像素位置信息的深度图， 即图像内 各个像素点对应的三维坐标。 10.根据权利要求9所述的塔吊起吊重物时重物坠落伤人危险自动感知系统， 其特征在 于， 所述危险感知 模块中根据塔吊吊钩、 起吊重物、 人的三 维坐标判断是否存在重物坠落伤 人危险的过程包括： 定义危险区域为以起 吊重物到地面投影位置为圆心的圆形区域， 预设 起吊重物质点与圆形区域边缘点的连线与重力方向的夹角为风险角； 根据起吊重物和人的 三维坐标计算起吊重物质点与人的连线与重力方向的夹角， 若所述夹角小于或等于风险 角， 则存在重物坠 落伤人危险。权　利　要　求　书 2/2 页 3 CN 115457463 A 3