说明:收录25万 73个行业的国家标准 支持批量下载
(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211092783.1 (22)申请日 2022.09.08 (65)同一申请的已公布的文献号 申请公布号 CN 115170097 A (43)申请公布日 2022.10.11 (73)专利权人 吉奥时空信息技 术股份有限公司 地址 430200 湖北省武汉市东湖开发区庙 山小区江夏大道武大 科技园 专利权人 广东省土地调查 规划院 (72)发明人 向强 罗宏明 周艺霖 程迎轩  谢宇 莫登海 王晨辉 李奇  饶志新 黄冠平  (74)专利代理 机构 武汉知产时代知识产权代理 有限公司 42 238 专利代理师 王佩(51)Int.Cl. G06Q 10/10(2012.01) G06Q 10/06(2012.01) G06F 16/2458(2019.01) G06F 16/29(2019.01) (56)对比文件 CN 112070861 A,2020.12.1 1 审查员 陈安安 (54)发明名称 一种空间数据分布式质检方法及系统 (57)摘要 本发明涉及一种空间数据分布式质检方法 及系统, 方法包括以下步骤: 质检规则耗时评估; 加载样例数据, 对于质检方案中的每条质检规则 进行规则耗时等级评估, 得到质检规则耗时评估 信息; 数据收集; 接收成果包, 对每个质检成果包 中的数据进行统计信息收集, 得到质检成果包数 据统计信息; 生成质检任务; 根据质检方案、 质检 规则耗时评估信息、 质检成果包 数据统计信息生 成质检任务池; 任务调度; 启动质检调度引擎, 对 质检任务池中的质检任务根据调度算法调度到 质检节点上进行检查, 得到质检成果包; 按质检 成果包输出质检报告; 系统采用分布式架构; 本 发明有益效果是: 减少质检的时间, 提高质检效 率。 权利要求书3页 说明书7页 附图3页 CN 115170097 B 2022.11.29 CN 115170097 B 1.一种空间数据分布式质检方法, 其特 征在于: 包括以下步骤: S1: 质检规则耗时评估; 加载样例数据, 对于质检方案中的每条质检规则进行规则耗时 等级评估, 得到质检规则耗时评估信息; 步骤S1具体如下: S11、 制作样例数据; S12、 使用质检评估工具加载质检方案、 样例数据; S13、 设置试验次数; S14、 按试验次数, 对样例数据重复进行质检, 记录每次试验每条质检规则的耗时; S15、 汇总质检规则的耗时 时间, 计算每条质检规则的耗时等级; 所述质检规则耗时等级计算公式如下: R=Math.Cei l(T/p) T=Σti/n 其中,n表示对该质检规则的检查次数, ti表示第i次抽查时该质检规则的耗时时间; T表 示该质检规则平均耗时; p为预设的一个区间值; Math.Cei l()表示向上 取整; S16、 标记质检规则的互斥性; S17、 记录质检规则的耗时等级、 互斥性信息; 步骤S1中所述质检规则耗 时评估信 息包括: 每条质检规则的耗 时等级和质检规则的互 斥性; S2: 数据收集; 接收成果包, 对每个质检成果包中的数据进行统计信息收集, 得到质检 成果包数据统计信息; 步骤S2中质检成果包数据统计信息包括: 数据项名称、 类型、 数据量 等级和字段信息; S3: 生成质检任务; 根据质检方案、 质检规则耗时评估信息、 质检成果包数据统计信息 生成质检任务池; 步骤S3所述质检任务池中, 按质检任务的总质检规则耗时等级对所有质检任务进行降 序排序; S4: 任务调度; 启动质检调度引擎, 对质检任务池中的质检任务根据调度算法采用分布 式调度到质检节点上进行检查, 得到质检成果包; 步骤S4具体如下: S41、 从质检任务池获取质检任务; S42、 通过监控引擎获取质检节点信息, 获取一个可用质检节点; S43、 判断该节点是否存在与该任务互斥的质检任务; 如果存在, 则执行步骤S44, 否则 执行步骤S45; S44、 获取下一个可用质检节点; 如果所有节点都存在与该质检任务互斥的质检任务, 则将该质检任务与其后面的质检任务互换; S45、 将该质检任务调度到获取的可用质检节点上; S45、 判断该 可用质检节点上 是否存在质检任务对应的质检成果包数据统计信息; S46、 如果不存在, 则从分布式数据存储下载对应的质检成果包数据, 并缓存到本地临 时目录; S47、 如果存在, 启动质检进程 直接加载质检任务关联的数据项到内存;权 利 要 求 书 1/3 页 2 CN 115170097 B 2S48、 执行该质检任务; S49、 将质检结果返回给调度节点保存到质检业 务库; S5、 成果输出; 按质检成果包输出质检报告。 2.如权利要求1所述的一种空间数据分布式质检方法, 其特征在于: 所述质检任务的总 质检规则耗时等级计算公式如下: C=R*D 其中,D表示所述数据量 等级。 3.如权利要求1所述的一种空间数据分布式质检方法, 其特征在于: 所述数据量等级的 计算公式如下: D=Math.Cei l(s/a) s为数据量总量; a为预设的另一个区间值。 4.一种空间数据分布式质检系统, 其特 征在于: 系统采用分布式架构, 包括: 质检规则耗时评估单元: 加载样例数据, 对于质检方案中的每条质检规则进行规则耗 时等级评估, 得到质检规则耗时评估信息; 质检规则耗时评估单 元包括: 样例制作子单 元: 制作样例数据; 加载子单 元: 使用质检评估工具加载质检方案、 样例数据; 参数设置 子单元: 设置试验次数; 试验子单元: 按试验次数, 对样例数据重复进行质检, 记录每次试验每条质检规则的耗 时; 汇总质检规则的耗时时间, 计算每条质检规则的耗时等级; 所述质检规则耗时等级计算 公式如下: R=Math.Cei l(T/p) T=Σti/n 其中,n表示对该质检规则的检查次数, ti表示第i次抽查时该质检规则的耗时时间; T表 示该质检规则平均耗时; p为预设的一个区间值; Math.Cei l()表示向上 取整; 互斥检验子单 元: 标记质检规则的互斥性; 数据记录子单元: 记录质检规则的耗时等级、 互斥性信 息; 所述质检规则耗 时评估信 息 包括: 每条质检规则的耗时等级和质检规则的互斥性; 数据收集单元: 接收成果包, 对每个质检成果包中的数据进行统计信 息收集, 得到质检 成果包数据统计信息; 质检成果包数据统计信息包括: 数据项名称、 类型、 数据量 等级和字段信息; 质检任务生成单元: 根据质检方案、 质检规则耗 时评估信 息、 质检成果包数据统计信 息 生成质检任务池; 所述质检任务池中, 按质检任务的总质检规则耗时等级对所有质检任务进行降序排 序; 任务调度单元: 启动质检调度引擎, 对质检任务池中的质检任务根据调度算法采用分 布式调度到质检节点上进行检查, 得到质检成果包; 任务调度单 元包括: 任务获取子单 元: 从质检任务池获取质检任务;权 利 要 求 书 2/3 页 3 CN 115170097 B 3

PDF文档 专利 一种空间数据分布式质检方法及系统

文档预览
中文文档 14 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共14页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种空间数据分布式质检方法及系统 第 1 页 专利 一种空间数据分布式质检方法及系统 第 2 页 专利 一种空间数据分布式质检方法及系统 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-02-18 22:29:31上传分享
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。