(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202211113903.1
(22)申请日 2022.09.14
(71)申请人 联通 (广东) 产业互联网有限公司
地址 510000 广东省广州市黄埔区(中新广
州知识城)亿创街1号 406房之555
(72)发明人 陈涌嘉 邹一荣
(74)专利代理 机构 广州润禾知识产权代理事务
所(普通合伙) 44446
专利代理师 郑永泉
(51)Int.Cl.
G06F 16/22(2019.01)
G06F 16/29(2019.01)
G06F 16/27(2019.01)
G06F 8/41(2018.01)
G06F 8/53(2018.01)G06V 10/80(2022.01)
(54)发明名称
一种基于Spark大数据的多图层矢量数据叠
加方法
(57)摘要
本发明提供一种基于Spar k大数据的多图层
矢量数据叠加方法, 所述方法为对每一个图层经
过四叉树编码, 选择其中最优的四叉树作为所有
图层的标准四叉树, 并以该四叉树对图层进行切
割, 将切割后的图层分布到Spark的执行器上进
行叠加计算, 最后将图形进行融合。 与现有技术
比较, 本发明方法通过使用Spark的分布式计算
的特点, 结合四叉树来优化Spark的分布方式, 能
够高效的对 多图层矢量数据进行叠加。
权利要求书2页 说明书6页 附图2页
CN 115391351 A
2022.11.25
CN 115391351 A
1.一种基于Spark大 数据的多图层矢量数据叠加方法, 其特 征在于, 所述方法包括:
S1: 将待处 理的多图层矢量图形进行图层合并, 在Spark中生成分布式数据集RD D1;
S2: 建立最小包含矩形z, 所述 最小包含矩形z为包 含所有RD D1矢量图形的矩形图层;
S3: 遍历RDD1中所有图层, 为每个图层根据以最小包含矩形z为边界生成一个最短四叉
树, 记录其编码最大长度len;
S4: 选出S3中最大长度len中图层出现最多的长度, 将该长度作 为标准四叉树编码长度
len1;
S5: 根据标准四叉树编码长度len1对最小包含矩形z进行分割, 生成网格结构, 以四叉
树编码为索引值 生成RDD2;
S6: 使用随机数对RD D2中的数据进行重分区, 以重分区后的数据生成RD D3;
S7: 将RDD3中的矢量 图形的四叉树编码进行反编译, 获取矢量 图形的网格在矢量 图形
的具体位置并将网格裁切, 以网格中的数据生成RD D4;
S8: 将RDD4中的矢量 图形根据四叉树编码的网格区域进行叠加和拆解, 将拆解后的数
据生成RD D5;
S9: 将RDD5中的矢量图层数据进行融合, 将融合后的数据生成RD D6。
2.根据权利要求1所述的一种基于Spark大数据的多图层矢量数据叠加方法, 其特征在
于, 所述RDD1的数据格式为: (矢量图形要素ID, 图层编码, 图形WKT, 最小坐标x, 最大坐标
x1, 最小坐标y, 最大坐标y1, 原始要素jso n信息)。
3.根据权利要求2所述的一种基于Spark大数据的多图层矢量数据叠加方法, 其特征在
于, 步骤S4中选取 标准四叉树编码长度len1还 包括:
当最大长度出现次数相同时, 选取其中最长的作为标准四叉树编码长度len1。
4.根据权利要求1所述的一种基于Spark大数据的多图层矢量数据叠加方法, 其特征在
于, 所述RDD2的数据格式为: (四叉树编码, (矢量图形要素ID, 图层编码, 图形WKT, 原始要素
json))。
5.根据权利要求4所述的一种基于Spark大数据的多图层矢量数据叠加方法, 其特征在
于, 所述步骤6使用随机数对RDD2 中的数据进行重分区, 以重分区后的数据生成RDD3; 具体
为:
对所述RDD2进行遍历, 为RDD2中的索引值增加随机数, 生成新的索引值, 根据所述索引
值将RDD2进行重分区, 生成RD D3;
所述RDD3的数据格式为: (四叉树编码加随机数, (矢量图层要素ID, 图层编码, 图形
WKT, 原始要素jso n信息))。
6.根据权利要求5所述的一种基于Spark大数据的多图层矢量数据叠加方法, 其特征在
于, 所述步骤7将RDD3中的矢量图形的四叉树编码进行反编译, 获取编码在矢量图形的位
置, 生成矢量图形的具体网格并裁切, 生成RD D4, 具体为:
遍历所述RDD3, 将所述索引值去除随机数还原四叉树编码, 将四叉树编码进行反编译,
生成每个矢量图形的具体网格图形, 将 矢量图形的图形WKT根据网格裁切, 形成每个网格的
裁切图形WKT, 以四叉树编码为索引值 生成RDD4;
所述RDD4的数据格式为: (四叉树编码, (图层编码, 矢量图形要素ID, 裁切图形WKT, 原
始要素jso n信息))。权 利 要 求 书 1/2 页
2
CN 115391351 A
27.根据权利要求6任一项所述的一种基于Spark大数据的多图层矢量数据叠加方法, 其
特征在于, 所述步骤8将RDD4中的矢量图形根据四叉树编码的网格区域进 行叠加和拆解, 将
拆解后的数据生成RD D5, 具体为:
将所述RDD4根据四叉树编码进行分组, 将同一网格下的矢量图形进行叠加, 将叠加后
的矢量图形拆解, 拆解成重叠部 分和非重叠部 分, 生成融合要素编码, 以拆解后的矢量图形
生成RDD5;
所述RDD5的数据格式为(融合要素编码, 裁切图形WKT, JSON信息)。
8.根据权利要求7所述的一种基于Spark大数据的多图层矢量数据叠加方法, 其特征在
于, 所述叠加 和拆解的具体步骤为:
将同一网格下的矢量图形根据图层编码进行分组;
当只出现一个分组时, 不进行操作;
当出现多个分组时, 遍历该网格下所有对象, 根据图层编码进行排序, 两两进行排列组
合并对其中有重叠的矢量图形进 行叠加, 将叠加部 分裁切出来, 然后 将其图层编 码合并, 并
将获得的结果重复进行 此步骤操作, 直到所有图层编码相同。
9.根据权利要求7所述的一种基于Spark大数据的多图层矢量数据叠加方法, 其特征在
于, 所述融合要素编码为分为重 叠部分编码和非重 叠部分编码;
所述重叠部分编码为所有重 叠部分的矢量图形要素ID连接组合;
所述非重 叠部分编码为单个非重 叠部分的矢量图形要素ID;
JSON信息为多个重 叠原始要素jso n信息组合或单个非重 叠原始要素jso n信息。
10.根据权利要求9所述的一种基于Spark大数据的多图层矢量数据叠加方法, 其特征
在于, 所述 步骤S9将RD D5中的矢量图层数据进行融合, 将融合后的数据生成RD D6, 具体为:
遍历所述RDD5中的矢量图层数据, 根据所述融合要素编码进行分组, 判断分组内的数
据是否相连, 如果相连则将矢量图层数据进行融合, 生成融合图形WKT和融合JSON信息, 将
融合后的数据生成RD D6;
所述RDD6的数据格式为(融合要素编码, 融合图形WKT, 融合JSON信息)。权 利 要 求 书 2/2 页
3
CN 115391351 A
3
专利 一种基于Spark大数据的多图层矢量数据叠加方法
文档预览
中文文档
11 页
50 下载
1000 浏览
0 评论
0 收藏
3.0分
温馨提示:本文档共11页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 SC 于 2024-02-18 22:28:45上传分享