(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210881771.0 (22)申请日 2022.07.26 (71)申请人 复旦大学 地址 200433 上海市杨 浦区邯郸路2 20号 (72)发明人 董志岩　赵辰　薛照林　胡宇　 何力　 (74)专利代理 机构 上海科盛知识产权代理有限 公司 312 25 专利代理师 夏健君 (51)Int.Cl. G06V 20/10(2022.01) G06V 20/17(2022.01) G06V 10/26(2022.01) G06V 10/28(2022.01) G06V 10/44(2022.01)G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06T 7/62(2017.01) (54)发明名称 基于无人机视觉的违建巡检与测量方法和 系统 (57)摘要 本发明涉及一种基于无人机视觉的违建巡 检与测量方法和系统， 包括： 通过无人机拍摄当 地建筑的正射图， 进行建筑物标注后， 制成训练 数据集； 获取带有建筑物标注的无人机正射图数 据集， 载入语义分割模型中进行训练， 得到初始 的语义分割模 型； 将训练数据集载入初始的语义 分割模型中进行训练， 得到最终的语义分割模 型； 利用无人机采集当地建筑违建前后的正射图 像， 进行图像对比， 标记 违建的建筑物； 通过最终 的语义分割模型， 提取出违章建筑分割图像； 然 后进行轮廓提取， 计算轮廓面积； 最后根据图像 与实际建筑的拍摄比例， 计算得到违章建筑的实 际预测面积。 与现有技术相比， 本发明得到的违 建巡检测量结果的精度明显要高于传统的测量 方法。 权利要求书2页 说明书4页 附图3页 CN 115100531 A 2022.09.23 CN 115100531 A 1.一种基于无 人机视觉的违建巡检与测量方法， 其特 征在于， 包括以下步骤： 语义分割模型训练步骤： S101： 通过 无人机拍摄当地建筑的正 射图， 并进行建筑物标注后， 制成训练数据集； S102： 获取无人机正射图数据集， 该无人机正射图数据集包括多张进行建筑物标注好 的建筑物图像； S103： 将所述无人机正射图数据集载入预先建立的语义分割模型中进行训练， 得到初 始的语义分割模型； S104： 将所述训练数据集载入初始的语义分割模型中进行训练， 得到最终的语义分割 模型； 违章建筑提取和计算 步骤： S201： 利用无人机采集当地建筑违建前的正射图像和违建后的正射图像， 并进行图像 对比， 标记违建的建筑物； S202： 将标记有违建的建筑物的图像载入所述最终的语义分割模型中， 提取出违章建 筑分割图像； S203： 对所述违章建筑分割图像进行轮廓提取， 并计算 提取的轮廓的面积； S204： 根据图像与实际建筑的拍摄比例， 利用提取的轮廓的面积， 计算得到违章建筑的 实际预测面积。 2.根据权利要求1所述的一种基于无人机视觉的违建巡检与测量方法， 其特征在于， 步 骤S101中， 采用lableme 软件完成对正 射图像的建筑物标注。 3.根据权利要求1所述的一种基于无人机视觉的违建巡检与测量方法， 其特征在于， 步 骤S201中， 采用OpenCV进行图像对比， 该图像对比过程具体为： 将所述违建前的正射图像和违建后的正射图像均转换成灰度， 并计算两个灰度图像之 间的结构相似指数， 从而获取不同点， 最后找到不同点的轮廓， 在该轮廓周围放置标识矩 形。 4.根据权利要求1所述的一种基于无人机视觉的违建巡检与测量方法， 其特征在于， 步 骤S203中， 通过OpenCV计算 提取的轮廓的面积， 该提取的轮廓的面积的计算过程具体为： 对进行轮廓 提取后的违章建筑分割图像进行灰度处理、 模糊处理以及二值化和形态学 处理， 然后进行最大轮廓检测， 最后计算出违章建筑的轮廓的面积。 5.根据权利要求1所述的一种基于无人机视觉的违建巡检与测量方法， 其特征在于， 所 述语义分割模型基于De eplabv3+语义分割算法构建。 6.一种基于无人机视觉的违建巡检与测量系统， 其特征在于， 包括存储器和处理器， 所 述存储器存储有计算机程序， 处 理器调用所述计算机程序执 行以下步骤： 语义分割模型训练步骤： S101： 通过 无人机拍摄当地建筑的正 射图， 并进行建筑物标注后， 制成训练数据集； S102： 获取无人机正射图数据集， 该无人机正射图数据集包括多张进行建筑物标注好 的建筑物图像； S103： 将所述无人机正射图数据集载入预先建立的语义分割模型中进行训练， 得到初 始的语义分割模型； S104： 将所述训练数据集载入初始的语义分割模型中进行训练， 得到最终的语义分割权　利　要　求　书 1/2 页 2 CN 115100531 A 2模型； 违章建筑提取和计算 步骤： S201： 利用无人机采集当地建筑违建前的正射图像和违建后的正射图像， 并进行图像 对比， 标记违建的建筑物； S202： 将标记有违建的建筑物的图像载入所述最终的语义分割模型中， 提取出违章建 筑分割图像； S203： 对所述违章建筑分割图像进行轮廓提取， 并计算 提取的轮廓的面积； S204： 根据图像与实际建筑的拍摄比例， 利用提取的轮廓的面积， 计算得到违章建筑的 实际预测面积。 7.根据权利要求6所述的一种基于无人机视觉的违建巡检与测量系统， 其特征在于， 步 骤S101中， 采用lableme 软件完成对正 射图像的建筑物标注。 8.根据权利要求6所述的一种基于无人机视觉的违建巡检与测量系统， 其特征在于， 步 骤S201中， 采用OpenCV进行图像对比， 该图像对比过程具体为： 将所述违建前的正射图像和违建后的正射图像均转换成灰度， 并计算两个灰度图像之 间的结构相似指数， 从而获取不同点， 最后找到不同点的轮廓， 在该轮廓周围放置标识矩 形。 9.根据权利要求6所述的一种基于无人机视觉的违建巡检与测量系统， 其特征在于， 步 骤S203中， 通过OpenCV计算 提取的轮廓的面积， 该提取的轮廓的面积的计算过程具体为： 对进行轮廓 提取后的违章建筑分割图像进行灰度处理、 模糊处理以及二值化和形态学 处理， 然后进行最大轮廓检测， 最后计算出违章建筑的轮廓的面积。 10.根据权利要求6所述的一种基于无人机视觉的违建巡检与测量系统， 其特征在于， 所述语义分割模型基于De eplabv3+语义分割算法构建。权　利　要　求　书 2/2 页 3 CN 115100531 A 3