(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211192336.3 (22)申请日 2022.09.28 (71)申请人 中国建设银行股份有限公司 地址 100033 北京市西城区金融大街25号 申请人 建信金融科技有限责任公司 (72)发明人 杨莉　黎洪达　吴秦明　任国力　 李孜逸　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 张润 (51)Int.Cl. G06F 16/25(2019.01) G06F 16/27(2019.01) G06F 16/28(2019.01) G06F 16/16(2019.01) (54)发明名称 数据加载 方法及其装置 (57)摘要 本公开提出了一种数据加载方法及其装置， 涉及大数据数据访问技术领域。 该方法包括： 响 应于监听到待加载的目标数据文件， 获取目标数 据文件的配置信息； 根据配置信息确定待加载的 M个候选数据库和任一候选数据库对应的数据表 结构信息， 并确定目标数据文件的加载顺序， M为 正整数； 根据数据表结构信息将目标数据文件按 加载顺序加载至M个候选数据库。 本公开可以根 据配置信息对 各类数据文件类型进行加载， 提高 数据加载的效率， 兼容各个类型的数据库， 提升 数据加载的灵活性， 避免重复开发带来的冗余代 码， 避免浪费资源， 在上游数据文件结构变更时 仍能实现自动加载， 兼容 性以及可靠性较高。 权利要求书3页 说明书10页 附图4页 CN 115544138 A 2022.12.30 CN 115544138 A 1.一种数据加载 方法， 其特 征在于， 包括： 响应于监听到待加载的目标 数据文件， 获取 所述目标 数据文件的配置信息； 根据所述配置信 息确定待加载的M个候选数据库和任一候选数据库对应的数据表结构 信息， 并确定所述目标 数据文件的加载顺序， 所述M为 正整数； 根据所述数据表结构信 息将所述目标数据文件按所述加载顺序加载至所述M个候选数 据库。 2.根据权利要求1所述的方法， 其特征在于， 所述目标数据文件为多个， 所述确定所述 目标数据文件的加载顺序， 包括： 根据所述配置信息确定N个数据加载进程， 并获取所述目标数据文件的等待时间和所 述数据加载进程的并发量， 所述 N为正整数； 根据所述等待时间和所述数据加载进程的并发量， 确定所述目标数据文件的加载顺 序。 3.根据权利要求2所述的方法， 其特征在于， 所述根据所述数据表结构信 息将所述目标 数据文件按所述加载顺序加载至所述M个候选数据库， 包括： 根据所述数据表结构信息获取加载所述目标数据文件的目标表结构和所述目标数据 文件的格式； 调用所述N个数据加载进程， 根据所述目标数据文件的格式和所述目标表结构将所述 目标数据文件按所述加载顺序加载至所述M个候选数据库。 4.根据权利要求3所述的方法， 其特征在于， 所述根据所述目标数据文件的格式和所述 目标表结构将所述目标 数据文件按所述加载顺序加载至所述M个候选数据库， 包括： 响应于所述目标数据文件的格式为数据流格式， 直接按照所述目标表结构将所述目标 数据文件按所述加载顺序加载至所述M个候选数据库； 或 响应于所述目标数据文件的格式为压缩格式， 对所述目标数据文件进行解压， 获取解 压数据文件， 根据所述 目标表结构将所述解压数据文件按所述加载顺序加载至所述M个候 选数据库。 5.根据权利要求2所述的方法， 其特征在于， 所述数据表结构信 息中包括一个或多个数 据库标识， 所述根据所述数据 表结构信息将所述目标数据文件按 所述加载顺序加载至所述 M个候选数据库， 包括： 根据所述一个或多个数据库标识， 从所述M个候选数据库中确定所述目标数据文件对 应的目标 数据库； 根据所述数据表结构信息将所述目标数据文件按所述加载顺序加载至所述目标数据 文件对应的所述目标 数据库。 6.根据权利要求2所述的方法， 其特 征在于， 所述方法还 包括： 在所述数据加载进程中获取 所述目标 数据文件的出错信息； 根据所述目标 数据文件的出错信息确定所述目标 数据文件的加载 结果； 响应于所述目标 数据文件的加载 结果为加载失败， 对所述目标 数据文件进行清理。 7.根据权利要求6所述的方法， 其特 征在于， 还 包括： 根据所述目标 数据文件的文件标识以及所述加载 结果获取作业日志。 8.根据权利要求7 所述的方法， 其特 征在于， 还 包括：权　利　要　求　书 1/3 页 2 CN 115544138 A 2响应于所述目标数据文件加载完成， 获取所述作业日志中加载失败的所述目标数据文 件的第一数量与加载成功的所述目标 数据文件的第二数量； 根据所述第一数量与所述第二数量的和值确定所述目标 数据文件的总数量； 响应于所述第一数量与所述总数量的比值大于预设比值阈值， 确定为加载失败， 并发 出报警提 示。 9.一种数据加载装置， 其特 征在于， 适用于客户端， 包括： 获取模块， 被配置为响应于监听到待加载的目标数据文件， 获取所述目标数据文件的 配置信息； 确定模块， 被配置为根据所述配置信息确定待加载的M个候选数据库和任一候选数据 库对应的数据表结构信息， 并确定所述目标 数据文件的加载顺序， 所述M为 正整数； 加载模块， 被配置为根据所述数据表结构信 息将所述目标数据文件按所述加载顺序加 载至所述M个候选数据库。 10.根据权利要求9所述的装置， 其特征在于， 所述目标数据文件为多个， 所述加载模 块， 还被配置为： 根据所述配置信息确定N个数据加载进程， 并获取所述目标数据文件的等待时间和任 一数据加载进程的并发量， 所述 N为正整数； 根据所述等待时间和所述数据加载进程的并发量， 确定所述目标数据文件的加载顺 序。 11.根据权利要求10所述的装置， 其特 征在于， 所述加载模块， 还被 配置为： 根据所述数据表结构信息获取加载所述目标数据文件的目标表结构和所述目标数据 文件的格式； 调用所述N个数据加载进程， 根据所述目标数据文件的格式和所述目标表结构将所述 目标数据文件按所述加载顺序加载至所述M个候选数据库。 12.根据权利要求1 1所述的装置， 其特 征在于， 所述加载模块， 还被 配置为： 响应于所述目标数据文件的格式为数据流格式， 直接按照所述目标表结构将所述目标 数据文件按所述加载顺序加载至所述M个候选数据库； 或 响应于所述目标数据文件的格式为压缩格式， 对所述目标数据文件进行解压， 获取解 压数据文件， 根据所述 目标表结构将所述解压数据文件按所述加载顺序加载至所述M个候 选数据库。 13.根据权利要求10所述的装置， 其特征在于， 所述数据表结构信 息中包括一个或多个 数据库标识， 所述加载模块， 还被 配置为： 根据所述一个或多个数据库标识， 从所述M个候选数据库中确定所述目标数据文件对 应的目标 数据库； 根据所述数据表结构信息将所述目标数据文件按所述加载顺序加载至所述目标数据 文件对应的所述目标 数据库。 14.根据权利要求10所述的装置， 其特 征在于， 所述装置还 包括清理模块， 被 配置为： 在所述数据加载进程中获取 所述目标 数据文件的出错信息； 根据所述目标 数据文件的出错信息确定所述目标 数据文件的加载 结果； 响应于所述目标 数据文件的加载 结果为加载失败， 对所述目标 数据文件进行清理。权　利　要　求　书 2/3 页 3 CN 115544138 A 3