(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211181702.5 (22)申请日 2022.09.27 (71)申请人 北京赛博贝斯数据科技有限责任公 司 地址 100000 北京市昌平区沙河镇七里渠 窦各庄村南1 1号楼3层3 01室 (72)发明人 耿志强　胡凤霞　冯大成　 (74)专利代理 机构 北京冠和权律师事务所 11399 专利代理师 张树朋 (51)Int.Cl. G06F 16/953(2019.01) G06F 16/27(2019.01) G06F 16/2455(2019.01) (54)发明名称 一种面向快速服务的大数据聚合方法及系 统 (57)摘要 本发明公开了一种面向快速服务的大数据 聚合方法， 包括： 将面向快速服务的大数据通过 数据异构， 获得快速服务大数据多维信息； 将大 数据多维信息通过联机处理节点进行预聚合联 机分析处理， 获得联机预聚合多维信息； 将联机 预聚合多维信息进行大数据桶型聚合及大数据 度量聚合， 获得大数据第一聚合结果； 对大数据 第一聚合结果进行管道聚合， 获得大数据第二聚 合结果， 实现面向快速服务的大数据异构多维聚 合； 本发明还公开了一种面向快速服务的大数据 聚合系统。 权利要求书3页 说明书10页 附图2页 CN 115438250 A 2022.12.06 CN 115438250 A 1.一种面向快速服 务的大数据聚合方法， 其特 征在于， 包括： S100， 将面向快速服 务的大数据通过 数据异构， 获得 快速服务大数据多维信息； S200， 将大数据多维信息通过联机处理节点进行预聚合联机分析处理， 获得联机预聚 合多维信息； S300， 将联机预聚合多维信息进行大数据桶型聚合及大数据度量聚合， 获得大数据第 一聚合结果； S400， 对大数据第一聚合结果进行管道聚合， 获得大数据第二聚合结果， 实现面向快速 服务的大数据异构多维聚合。 2.根据权利要求1所述的一种面向快速服务的大数据聚合方法， 其特征在于， 所述S100 包括： S101， 将面向快速服 务的大数据按照服 务类型进行分类 拆分为多种服 务类型数据； S102， 对多种服 务类型数据进行 数据异构处 理， 获得服 务类型异构处 理数据； S103， 将服务类型异构处 理数据进行维度升级， 获得 快速服务大数据多维信息 。 3.根据权利要求1所述的一种面向快速服务的大数据聚合方法， 其特征在于， 所述S200 包括： S201， 将大数据多维信息按照设定范围联机处理节点数量， 分别分发到设定范围联机 处理节点； S202， 建立设定范围联机处 理节点的预聚合联机分析处 理框架； S203， 根据 聚合联机分析处理框架进行预聚合联机分析处理， 获得联机预聚合多维信 息。 4.根据权利要求1所述的一种面向快速服务的大数据聚合方法， 其特征在于， 所述S300 包括： S301， 将联机预聚合多维信息进行集中备份， 获得 预聚合多维信息集中备份数据； S302， 将预聚合多维信息集中备份数据进行 大数据桶型聚合， 获得桶型聚合数据； S303， 将桶型聚合数据进行 大数据度量聚合， 获得 大数据第一聚合结果。 5.根据权利要求1所述的一种面向快速服务的大数据聚合方法， 其特征在于， 所述S400 包括： S401， 将大 数据第一聚合结果传输 到数据管道聚合的数据处 理管道输入端； S402， 数据处理管道输入端将大数据第一聚合结果分型并传入各数据处理管道， 进行 管道聚合处 理； S403， 通过管道聚合处理， 获得大数据第二聚合结果， 实现面向快速服务的大数据异构 多维聚合。 6.一种面向快速服 务的大数据聚合系统， 其特 征在于， 包括： 数据异构多维构建模块， 将面向快速服务的大数据通过数据异构， 获得快速服务大数 据多维信息； 预聚合联机分析模块， 将大数据多维信息通过联机处理节点进行预聚合联机分析处 理， 获得联机预聚合多维信息； 多维信息递进聚合模块， 将联机预聚合多维信 息进行大数据桶型聚合及大数据度量 聚 合， 获得大数据第一聚合结果；权　利　要　求　书 1/3 页 2 CN 115438250 A 2管道聚合快速响应模块， 对大数据第一聚合结果进行管道聚合， 获得大数据第二聚合 结果， 实现面向快速服 务的大数据异构多维聚合。 7.根据权利要求6所述的一种面向快速服务的大数据聚合系统， 其特征在于， 所述数据 异构多维构建模块包括： 服务类型分类拆分子模块， 将面向快速服务的大数据按照 服务类型进行分类拆分为多 种服务类型数据； 多型数据异构处理子模块， 对多种服务类型数据进行数据异构处理， 获得服务类型异 构处理数据； 对多种服务类型服务类型进行服务类型异构处理还包括： 将待校验的字符分 隔值格式的基准服务类型表和比对服务类型表存入分布式面向列数据库中， 原始服务类型 记录主键作为分布式面向列数据库 表的主键， 原始 服务类型记录的非主键属性作为分布式 面向列数据库表的一列， 不同的列属于不同的列族， 利用分布式面向列数据库的面向列存 储提高查询某列服务类型时的响应性能； 将校验规则校验字段的查询索引表存入分布式面 向列数据库中， 校验字段作为分布式面向列数据库查询索引表的主键， 原始服务类型记录 主键作为查询索引表的列名， 所有主键属于同一个列族， 采用这种服务类型模式方便对查 询索引表记录的增加、 删除、 修改和查询； 将服务类型记录时间戳的查询索引表存入分布式 面向列数据库中， 服务类型记录时间戳作为分布式面向列数据库查询索引表的主键， 原始 服务类型记录主键作为查询索引表的列值存储； 将校验规则校验字段的查询索引表存入分 布式面向列数据库中时， 同时将查询索引表存 入分布式文件基础架构的索引文件中； 维度升级多维转化子模块， 将服务类型异构处理数据进行维度升级， 获得快速服务大 数据多维信息 。 8.根据权利要求6所述的一种面向快速服务的大数据聚合系统， 其特征在于， 所述预聚 合联机分析模块包括： 联机处理节点分发子模块， 将大数据多维信息按照设定范围联机处理节点数量， 分别 分发到设定范围联机处 理节点； 联机分析处 理框架子模块， 建立设定范围联机处 理节点的预聚合联机分析处 理框架； 预聚合联机分析处理子模块， 根据聚合联机分析处理框架进行预聚合联机分析处理， 获得联机预聚合多维信息； 进行预聚合联机分析处理包括： 将源数据按空间维度预聚合成 以网状数据结构形式表示的预聚合表数据， 其中， 网状数据结构的级别代表预聚合的空间 层次， 网状数据结构节点的内容包括节点所对应空间区域以及从数据属性中选择的预聚合 维度进行预聚合得到的轻量预聚合数据； 在生成报表时确定用户在空间上所选择的选择区 域， 根据用户所选择的查询维度将属于所述选择区域内的各网状数据结构节点的轻量预聚 合数据进 行预聚合得到查询结果； 按从数据属性中选择的预聚合 维度将源 数据按网状区划 预聚合成网状区预聚合表数据； 在生成报表 时， 根据查询维度将用户所选择网状区的网状 区预聚合表数据进行 预聚合得到查询结果。 9.根据权利要求6所述的一种面向快速服务的大数据聚合系统， 其特征在于， 所述多维 信息递进聚合模块包括： 多维信息集中备份子模块， 将联机预聚合多维信息进行集中备份， 获得预聚合多维信 息集中备份数据； 大数据桶型聚合子模块， 将预聚合多维信息集中备份数据进行大数据桶型聚合， 获得权　利　要　求　书 2/3 页 3 CN 115438250 A 3