(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202211183638.4
(22)申请日 2022.09.27
(71)申请人 中国建设银行股份有限公司
地址 100033 北京市西城区金融大街25号
申请人 建信金融科技有限责任公司
(72)发明人 原理 魏立群
(74)专利代理 机构 中原信达知识产权代理有限
责任公司 1 1219
专利代理师 李阳 徐敏
(51)Int.Cl.
G06F 16/21(2019.01)
G06F 16/215(2019.01)
G06F 16/2455(2019.01)
G06F 16/2458(2019.01)
G06F 16/25(2019.01)G06F 21/62(2013.01)
G06Q 40/02(2012.01)
(54)发明名称
一种数据处 理方法和装置
(57)摘要
本发明公开了一种数据处理方法和装置, 涉
及计算机技术领域。 该方法的一具体实施方式包
括从数据仓库获取第一系统数据, 根据预设的处
理日期筛选得到对应数据, 从配置组件调取预设
的处理程序对 所述数据进行处理, 以将处理后的
数据迁移入第二系统; 将迁移入第二系统的数据
划分为第一数据和第二数据, 通过第二系统运行
第一数据, 生 成第三数据; 调取预设的对比程序,
对比第二数据和第三数据的关键字段, 生成对比
表。 从而, 本发明的实施方式能够解决现有异构
系统间比对处理时信息化程度低、 效率低的技术
问题。
权利要求书3页 说明书10页 附图5页
CN 115525627 A
2022.12.27
CN 115525627 A
1.一种数据处 理方法, 其特 征在于, 包括:
从数据仓库获取第一系统数据, 根据预设的处理日期筛选得到对应数据, 从配置组件
调取预设的处 理程序对所述数据进行处 理, 以将处 理后的数据迁移入第二系统;
将迁移入第二系统的数据划分为第一数据和第二数据, 通过第二系统运行第一数据,
生成第三数据;
调取预设的对比程序, 对比第二数据和第三数据的关键 字段, 生成对比表。
2.根据权利要求1所述的方法, 其特 征在于, 从数据仓库获取第一系统数据之前, 包括:
从多个渠道采集得到第 一系统数据, 从配置组件调取预设的数据清洗程序对采集得到
的数据进行清洗处 理, 并将清洗后的数据加载至数据仓库。
3.根据权利要求1所述的方法, 其特 征在于, 从数据仓库获取第一系统数据之后, 包括:
筛选得到第一系统数据中包括账单日数据, 或到期还款日数据, 或宽限日数据的单日
数据, 获取所述单日数据对应的日期, 将所述日期与所述日期的次日分别作为预设的处理
日期与预设的处 理日期的次日。
4.根据权利要求1所述的方法, 其特征在于, 根据预设的处理日期筛选得到对应数据,
包括:
根据预设的处理日期, 从获取的第一系统数据中筛选得到处理日的全量数据、 处理日
的增量数据, 以及通过第一系统运行 处理日的全量数据和处理日的增量数据得到的处理日
次日的全量数据。
5.根据权利要求1所述的方法, 其特征在于, 从配置组件调取预设的处理程序对所述数
据进行处 理, 包括:
获取第一系统对应的数据结构和第 二系统对应的数据结构, 并分别输入至配置组件中
预设的数据转换程序, 以将所述数据的结构转换为第二系统对应的数据结构;
从配置组件调取预设的数据变形规则表, 将数据变形规则表的内容作为数据处理规
则, 对所述 转换结构后的数据进行 数据脱敏处 理。
6.根据权利要求1所述的方法, 其特征在于, 将迁移入第 二系统的数据划分为第 一数据
和第二数据, 包括:
将迁移入第 二系统的第一系统的处理日的全量数据、 处理日的增量数据划分为第 一数
据, 将迁移入第二系统的第一系统的处 理日次日的全量数据划分为第二数据。
7.根据权利要求1中所述的方法, 其特征在于, 对比第二数据和第三数据的关键字段,
生成对比表, 包括:
逐一对比第 二数据和第 三数据的关键字段, 将所述关键字段和所述关键字段的对比结
果对应记录 至对比表;
从配置组件调取预设的差值范围表, 逐一判断所述的关键字段对比结果是否超出差值
范围表中对应关键 字段的差值范围,
若否则生成分析 结果为正常;
若是则生成分析 结果为异常;
将分析结果逐一对应记录 至对比表。
8.根据权利要求1中所述的方法, 其特 征在于, 生成对比表之后, 包括:
从配置组件中调取预设的调参程序, 根据 所述对比表中分析结果为异常的多个关键字权 利 要 求 书 1/3 页
2
CN 115525627 A
2段, 从预设的参数对应表中筛 选得到对应的多个第二系统参数并输出。
9.一种数据处 理装置, 其特 征在于, 包括:
获取模块, 用于从数据仓库获取第一系统数据, 根据预设的处理日期筛选得到对应数
据, 从配置组件调 取预设的处理程序对所述数据进行处理, 以将处理后的数据迁移入第二
系统;
处理模块, 用于将迁移入第二系统的数据划分为第一数据和第二数据, 通过第二系统
运行第一数据, 生成第三数据;
对比模块, 用于调取预设的对比程序, 对比第 二数据和第 三数据的关键字段, 生成对比
表。
10.根据权利要求9所述的装置, 其特 征在于, 还 包括:
获取模块, 用于从多个渠道采集得到第一系统数据, 从配置组件调取预设的数据清洗
程序对采集得到的数据进行清洗处 理, 并将清洗后的数据加载至数据仓库。
11.根据权利要求9所述的装置, 其特 征在于, 还 包括:
获取模块, 用于筛选得到第 一系统数据中包括账单日数据, 或到期还款日数据, 或宽限
日数据的单日数据, 获取所述单日数据对应的日期, 将所述日期与所述日期的次日分别作
为预设的处 理日期与预设的处 理日期的次日。
12.根据权利要求9所述的装置, 其特 征在于, 还 包括:
获取模块, 用于根据预设的处理日期, 从获取的第一系统数据中筛选得到处理日的全
量数据、 处理日的增 量数据, 以及通过第一系统运行处理日的全量数据和处理日的增量数
据得到的处 理日次日的全量数据。
13.根据权利要求9所述的装置, 其特 征在于, 还 包括:
获取模块, 用于获取第一系统对应的数据结构和第二系统对应的数据结构, 并分别输
入至配置组件中预设的数据转换程序, 以将所述数据的结构转换为第二系统对应的数据结
构;
从配置组件调取预设的数据变形规则表, 将数据变形规则表的内容作为数据处理规
则, 对所述 转换结构后的数据进行 数据脱敏处 理。
14.根据权利要求9所述的装置, 其特 征在于, 还 包括:
处理模块, 用于将迁移入第二系统的第一系统的处理日的全量数据、 处理日的增量数
据划分为第一数据, 将 迁移入第二系统的第一系统的处理日次日的全量数据划分为第二数
据。
15.根据权利要求9所述的装置, 其特 征在于, 还 包括:
对比模块, 用于逐一对比第二数据和第三数据的关键字段, 将所述关键字段和所述关
键字段的对比结果对应记录 至对比表;
从配置组件调取预设的差值范围表, 逐一判断所述的关键字段对比结果是否超出差值
范围表中对应关键 字段的差值范围,
若否则生成分析 结果为正常;
若是则生成分析 结果为异常;
将分析结果逐一对应记录 至对比表。
16.根据权利要求9所述的装置, 其特 征在于, 还 包括:权 利 要 求 书 2/3 页
3
CN 115525627 A
3
专利 一种数据处理方法和装置
文档预览
中文文档
19 页
50 下载
1000 浏览
0 评论
0 收藏
3.0分
温馨提示:本文档共19页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 SC 于 2024-02-18 22:30:44上传分享