说明:收录25万 73个行业的国家标准 支持批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211247352.8 (22)申请日 2022.10.12 (71)申请人 中国银行股份有限公司 地址 100818 北京市西城区复兴门内大街1 号 (72)发明人 李杨帆  (74)专利代理 机构 北京三友知识产权代理有限 公司 11127 专利代理师 郝博 陶海萍 (51)Int.Cl. G06F 16/25(2019.01) G06F 16/27(2019.01) G06F 16/28(2019.01) (54)发明名称 企业级数据管理系统及方法 (57)摘要 本发明提供了一种企业级数据管理系统及 方法, 可用于分布式技术领域, 该系统包括: 数据 采集模块, 用于接收多个数据源服务器通过数据 接口上传的源数据; 解析源数据获得读取数据; 数据转换模块, 用于基于给定范式规范, 将读取 数据转换为不同的物理结构数据; 数据分析模 块, 用于采用基于Sp ringBatch构建的任 务流程, 对物理结构数据进行处理, 获得分析结果数据; 数据存储模块, 用于基于分析结果数据和物理结 构数据的数据存储类型, 存储至不同的客户端服 务器; 数据服务模块, 用于在接收到用户的服务 申请后, 通过服务申请类型对应的数据接口, 输 出服务申请类型对应的分析结果数据和/或物理 结构数据。 本发 明可以为企业建立集中式数据服 务。 权利要求书3页 说明书7页 附图3页 CN 115544142 A 2022.12.30 CN 115544142 A 1.一种企业级数据管理系统, 其特征在于, 包括: 采用Spring  Cloud框架结合的数据采 集模块、 数据转换模块、 数据分析模块、 数据存 储模块和数据服 务模块, 其中, 数据采集模块, 用于接收多个数据源服务器通过数据采集模块的数据接口上传的源数 据; 解析源数据获得读取 数据; 数据转换模块, 用于基于给定范式规范, 将 读取数据转换为 不同的物理结构数据; 数据分析模块, 用于采用基于SpringBatch构 建的任务流程, 对不同的物理结构数据进 行处理, 获得分析 结果数据; 数据存储模块, 用于基于分析结果数据和物理结构数据的数据存储类型, 存储至不同 的客户端服 务器; 数据服务模块, 用于在接收到用户的服务申请后, 按照服务申请类型, 通过服务申请类 型对应的数据接口, 输出服 务申请类型对应的分析 结果数据和/或物理结构数据。 2.如权利要求1所述的系统, 其特征在于, 数据采集模块集成多个数据源服务器对应的 数据读取插 件; 所述数据采集模块采用每个数据源服务器对应的数据读取插件, 解析源数据获得读取 数据。 3.如权利要求2所述的系统, 其特征在于, 数据采集模块采用Spring  Data技术集成多 个数据源服 务器对应的数据读取插 件; 所述数据读取插 件为JDBC、 Hado op、 kafka和文件导入中的其中一种或任意组合。 4.如权利要求1所述的系统, 其特 征在于, 数据转换模块具体用于: 基于给定范式规范, 将 读取数据转换为逻辑结构数据; 根据数据存储类型, 将逻辑结构数据转换为物理结构数据, 所述物理结构数据包括数 据库结构数据、 流式数据、 HDFS数据和文件数据。 5.如权利要求1所述的系统, 其特 征在于, 数据转换模块还用于: 在将逻辑结构数据转换为物 理结构数据之后, 生成物理结构数据对应的企业级数据字 典。 6.如权利要求1所述的系统, 其特 征在于, 数据分析模块具体用于: 基于SpringBatch构建的任务流程是采用SpringB atch, 根据数据的分类和用途, 构建 的数据处 理任务的流 程。 7.如权利 要求4所述的系统, 其特征在于, 数据库服务器包括数据库服务器、 redis服务 器、 流式数据库服 务器、 Hbase服 务器和文件服 务器; 数据存储模块具体用于: 将分析结果数据和数据库结构数据存 储至数据库服 务器; 将流式数据存 储至redis服 务器或流式数据库服 务器; 将HDFS数据存 储至Hbase服务器; 将文件数据存 储至文件服 务器。 8.如权利要求1所述的系统, 其特 征在于, 每 个客户端服 务器配置有Rib bon负载均衡。 9.如权利要求1所述的系统, 其特征在于, 服务申请类型对应的数据接口包括HTTP服务 接口、 Freign 服务接口、 RestTemplate服 务接口、 SOCKET服 务接口。 10.如权利要求5所述的系统, 其特征在于, 数据服务模块还用于: 输出服务申请类型对权 利 要 求 书 1/3 页 2 CN 115544142 A 2应的物理结构数据的企业级数据字典。 11.如权利要求1所述的系统, 其特 征在于, 数据服 务模块还用于: 在确定用户具有服务申请类型的访问权限后, 输出服务申请类型对应的分析结果数据 和/或物理结构数据。 12.如权利要求1所述的系统, 其特 征在于, 还 包括监控模块, 用于: 监控数据的当前状态; 收集所述系统执 行的日志; 监控所述系统的处 理性能。 13.一种企业级数据 管理方法, 应用于权利要求1至12任一项所述的系统, 其特征在于, 包括: 接收多个数据源服 务器通过 数据接口上传的源数据; 解析源数据获得读取 数据; 基于给定范式规范, 将 读取数据转换为 不同的物理结构数据; 采用基于Sprin gBatch构 建的任务流程, 对不同的物理结构数据进行处理, 获得分析结 果数据; 基于分析 结果数据和物理结构数据的数据存 储类型, 存 储至不同的客户端服 务器; 在接收到用户的服务申请后, 按照服务申请类型, 通过服务申请类型对应的数据接口, 输出服务申请类型对应的分析 结果数据和/或物理结构数据。 14.如权利要求13所述的方法, 其特 征在于, 还 包括: 采用每个数据源服 务器对应的数据读取插 件, 解析源数据获得读取 数据。 15.如权利要求14所述的方法, 其特征在于, 多个数据源服务器对应的数据读取插件是 采用Spri ng Data技术集成的; 所述数据读取插 件为JDBC、 Hado op、 kafka和文件导入中的其中一种或任意组合。 16.如权利要求13所述的方法, 其特征在于, 基于给定范式规范, 将读取数据转换为不 同的物理结构数据, 包括: 基于给定范式规范, 将 读取数据转换为逻辑结构数据; 根据数据存储类型, 将逻辑结构数据转换为物理结构数据, 所述物理结构数据包括数 据库结构数据、 流式数据、 HDFS数据和文件数据。 17.如权利要求13所述的方法, 其特 征在于, 还 包括: 在将逻辑结构数据转换为物 理结构数据之后, 生成物理结构数据对应的企业级数据字 典。 18.如权利要求13所述的方法, 其特 征在于, 还 包括: 基于SpringBatch构建的任务流程是采用SpringB atch, 根据数据的分类和用途, 构建 的数据处 理任务的流 程。 19.如权利 要求16所述的方法, 其特征在于, 数据库服务器包括数据库服务器、 redis服 务器、 流式数据库服 务器、 Hbase服 务器和文件服 务器; 基于分析结果数据和物理结构数据的数据存储类型, 存储至不同的客户端服务器, 包 括: 将分析结果数据和数据库结构数据存 储至数据库服 务器; 将流式数据存 储至redis服 务器或流式数据库服 务器;权 利 要 求 书 2/3 页 3 CN 115544142 A 3

.PDF文档 专利 企业级数据管理系统及方法

文档预览
中文文档 14 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共14页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 企业级数据管理系统及方法 第 1 页 专利 企业级数据管理系统及方法 第 2 页 专利 企业级数据管理系统及方法 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 00:49:53上传分享
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。