(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202211247352.8
(22)申请日 2022.10.12
(71)申请人 中国银行股份有限公司
地址 100818 北京市西城区复兴门内大街1
号
(72)发明人 李杨帆
(74)专利代理 机构 北京三友知识产权代理有限
公司 11127
专利代理师 郝博 陶海萍
(51)Int.Cl.
G06F 16/25(2019.01)
G06F 16/27(2019.01)
G06F 16/28(2019.01)
(54)发明名称
企业级数据管理系统及方法
(57)摘要
本发明提供了一种企业级数据管理系统及
方法, 可用于分布式技术领域, 该系统包括: 数据
采集模块, 用于接收多个数据源服务器通过数据
接口上传的源数据; 解析源数据获得读取数据;
数据转换模块, 用于基于给定范式规范, 将读取
数据转换为不同的物理结构数据; 数据分析模
块, 用于采用基于Sp ringBatch构建的任 务流程,
对物理结构数据进行处理, 获得分析结果数据;
数据存储模块, 用于基于分析结果数据和物理结
构数据的数据存储类型, 存储至不同的客户端服
务器; 数据服务模块, 用于在接收到用户的服务
申请后, 通过服务申请类型对应的数据接口, 输
出服务申请类型对应的分析结果数据和/或物理
结构数据。 本发 明可以为企业建立集中式数据服
务。
权利要求书3页 说明书7页 附图3页
CN 115544142 A
2022.12.30
CN 115544142 A
1.一种企业级数据管理系统, 其特征在于, 包括: 采用Spring Cloud框架结合的数据采
集模块、 数据转换模块、 数据分析模块、 数据存 储模块和数据服 务模块, 其中,
数据采集模块, 用于接收多个数据源服务器通过数据采集模块的数据接口上传的源数
据; 解析源数据获得读取 数据;
数据转换模块, 用于基于给定范式规范, 将 读取数据转换为 不同的物理结构数据;
数据分析模块, 用于采用基于SpringBatch构 建的任务流程, 对不同的物理结构数据进
行处理, 获得分析 结果数据;
数据存储模块, 用于基于分析结果数据和物理结构数据的数据存储类型, 存储至不同
的客户端服 务器;
数据服务模块, 用于在接收到用户的服务申请后, 按照服务申请类型, 通过服务申请类
型对应的数据接口, 输出服 务申请类型对应的分析 结果数据和/或物理结构数据。
2.如权利要求1所述的系统, 其特征在于, 数据采集模块集成多个数据源服务器对应的
数据读取插 件;
所述数据采集模块采用每个数据源服务器对应的数据读取插件, 解析源数据获得读取
数据。
3.如权利要求2所述的系统, 其特征在于, 数据采集模块采用Spring Data技术集成多
个数据源服 务器对应的数据读取插 件;
所述数据读取插 件为JDBC、 Hado op、 kafka和文件导入中的其中一种或任意组合。
4.如权利要求1所述的系统, 其特 征在于, 数据转换模块具体用于:
基于给定范式规范, 将 读取数据转换为逻辑结构数据;
根据数据存储类型, 将逻辑结构数据转换为物理结构数据, 所述物理结构数据包括数
据库结构数据、 流式数据、 HDFS数据和文件数据。
5.如权利要求1所述的系统, 其特 征在于, 数据转换模块还用于:
在将逻辑结构数据转换为物 理结构数据之后, 生成物理结构数据对应的企业级数据字
典。
6.如权利要求1所述的系统, 其特 征在于, 数据分析模块具体用于:
基于SpringBatch构建的任务流程是采用SpringB atch, 根据数据的分类和用途, 构建
的数据处 理任务的流 程。
7.如权利 要求4所述的系统, 其特征在于, 数据库服务器包括数据库服务器、 redis服务
器、 流式数据库服 务器、 Hbase服 务器和文件服 务器;
数据存储模块具体用于:
将分析结果数据和数据库结构数据存 储至数据库服 务器;
将流式数据存 储至redis服 务器或流式数据库服 务器;
将HDFS数据存 储至Hbase服务器;
将文件数据存 储至文件服 务器。
8.如权利要求1所述的系统, 其特 征在于, 每 个客户端服 务器配置有Rib bon负载均衡。
9.如权利要求1所述的系统, 其特征在于, 服务申请类型对应的数据接口包括HTTP服务
接口、 Freign 服务接口、 RestTemplate服 务接口、 SOCKET服 务接口。
10.如权利要求5所述的系统, 其特征在于, 数据服务模块还用于: 输出服务申请类型对权 利 要 求 书 1/3 页
2
CN 115544142 A
2应的物理结构数据的企业级数据字典。
11.如权利要求1所述的系统, 其特 征在于, 数据服 务模块还用于:
在确定用户具有服务申请类型的访问权限后, 输出服务申请类型对应的分析结果数据
和/或物理结构数据。
12.如权利要求1所述的系统, 其特 征在于, 还 包括监控模块, 用于:
监控数据的当前状态;
收集所述系统执 行的日志;
监控所述系统的处 理性能。
13.一种企业级数据 管理方法, 应用于权利要求1至12任一项所述的系统, 其特征在于,
包括:
接收多个数据源服 务器通过 数据接口上传的源数据; 解析源数据获得读取 数据;
基于给定范式规范, 将 读取数据转换为 不同的物理结构数据;
采用基于Sprin gBatch构 建的任务流程, 对不同的物理结构数据进行处理, 获得分析结
果数据;
基于分析 结果数据和物理结构数据的数据存 储类型, 存 储至不同的客户端服 务器;
在接收到用户的服务申请后, 按照服务申请类型, 通过服务申请类型对应的数据接口,
输出服务申请类型对应的分析 结果数据和/或物理结构数据。
14.如权利要求13所述的方法, 其特 征在于, 还 包括:
采用每个数据源服 务器对应的数据读取插 件, 解析源数据获得读取 数据。
15.如权利要求14所述的方法, 其特征在于, 多个数据源服务器对应的数据读取插件是
采用Spri ng Data技术集成的;
所述数据读取插 件为JDBC、 Hado op、 kafka和文件导入中的其中一种或任意组合。
16.如权利要求13所述的方法, 其特征在于, 基于给定范式规范, 将读取数据转换为不
同的物理结构数据, 包括:
基于给定范式规范, 将 读取数据转换为逻辑结构数据;
根据数据存储类型, 将逻辑结构数据转换为物理结构数据, 所述物理结构数据包括数
据库结构数据、 流式数据、 HDFS数据和文件数据。
17.如权利要求13所述的方法, 其特 征在于, 还 包括:
在将逻辑结构数据转换为物 理结构数据之后, 生成物理结构数据对应的企业级数据字
典。
18.如权利要求13所述的方法, 其特 征在于, 还 包括:
基于SpringBatch构建的任务流程是采用SpringB atch, 根据数据的分类和用途, 构建
的数据处 理任务的流 程。
19.如权利 要求16所述的方法, 其特征在于, 数据库服务器包括数据库服务器、 redis服
务器、 流式数据库服 务器、 Hbase服 务器和文件服 务器;
基于分析结果数据和物理结构数据的数据存储类型, 存储至不同的客户端服务器, 包
括:
将分析结果数据和数据库结构数据存 储至数据库服 务器;
将流式数据存 储至redis服 务器或流式数据库服 务器;权 利 要 求 书 2/3 页
3
CN 115544142 A
3
专利 企业级数据管理系统及方法
文档预览
中文文档
14 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共14页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 人生无常 于 2024-03-18 00:49:53上传分享