(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211134325.X (22)申请日 2022.09.19 (71)申请人 平安银行股份有限公司 地址 518000 广东省深圳市罗湖区深南 东 路5047号 (72)发明人 黄芳　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 姚大雷 (51)Int.Cl. G06F 16/27(2019.01) G06F 16/242(2019.01) G06F 16/215(2019.01) (54)发明名称 数据库数据实时同步方法、 系统、 计算机终 端及存储介质 (57)摘要 本发明属于数据处理技术领域， 尤其涉及一 种数据库数据实时同步方法、 系统、 计算机终端 及存储介质， 该方法包括： 监听并读取当前数据 库的日志数据， 并将所述日志数据存入kafka集 群的消息集合中； 通过数据读取插件获取所述消 息集合中的日志数据， 并对所述日志数据进行数 据清洗； 根据下游数据库的类型， 将经过数据清 洗得到的日志数据解析成对应的格式， 并写入所 述下游数据库。 通过利用kafka集群获取数据库 的日志数据， 人后对日志数据的处理， 获取对下 游数据库进行同步的数据格式， 进行数据库数据 同步。 权利要求书2页 说明书8页 附图4页 CN 115203336 A 2022.10.18 CN 115203336 A 1.一种数据库数据实时同步方法， 应用于分布式数据库集群中的数据同步， 其特征在 于， 包括： 监听并读取当前 数据库的日志数据， 并将所述日志数据存 入kafka集群的消息集 合中； 通过数据读取插件获取所述消息集合中的日志数据， 并对所述日志数据进行数据清 洗； 根据下游数据库的类型， 将经过数据清洗得到的日志数据解析成对应的格式， 并写入 所述下游数据库。 2.根据权利要求1所述的数据库数据实时同步方法， 其特征在于， 所述根据下游数据库 的类型， 将经 过数据清洗得到的日志数据解析成对应的格式， 包括： 若所述下游数据库的类型为关系型 数据库， 则将所述日志数据解析成SQ L语句； 若所述下游数据库的类型为非关系型数据库， 则将所述日志数据解析成POJO对象， 并 进行序列化处 理。 3.根据权利要求1或2所述的数据库数据实时同步方法， 其特征在于， 所述写入所述下 游数据库， 包括： 写入所述下游数据库的数据池或数据仓库中； 所述写入所述下游数据库之后， 还 包括： 更新所述消息集合中的补偿信 息， 所述补偿信 息用于对出现异常故障的组件进行数据 恢复。 4.根据权利要求1所述的数据库数据实时同步方法， 其特征在于， 所述监 听并读取当前 数据库的日志数据， 并将所述日志数据存 入kafka集群的消息集 合中， 包括： 通过kafka ‑connector ‑oracle插件监听并获取所述日志数据， 将所述日志数据转换成 预设格式， 存放到消息集 合中； 所述日志数据包括重做日志和回滚日志。 5.据权利要求4所述的数据库数据实时同步方法， 其特征在于， 所述预设格 式为JSON格 式。 6.根据权利要求1所述的数据库数据实时同步方法， 其特征在于， 所述通过数据读取插 件获取所述消息集 合中的日志数据， 包括： 通过kafka ‑oracle‑sink插件监听多个所述消息集 合， 实时获取 所述日志数据。 7.根据权利要求1所述的数据库数据实时同步方法， 其特征在于， 所述对所述日志数据 进行数据清洗， 包括： 通过sync ‑factory插件对所述日志数据进行清洗和格式化加工， 并解析所述日志数 据， 形成摘要数据或宽表数据， 所述摘要数据或宽表数据用于写入所述下游数据库。 8.一种数据实时同步系统， 其特征在于， 包括： 核心数据库、 kafka集群和若干个下游数 据库， 所述核心数据库设置 于核心系统内； 当需要进行数据同步时， 所述kafka集群用于监听并读取所述核心数据库的日志数据， 并将所述日志数据存 入所述kafka集群的消息集 合中； 所述kafka集群通过数据读取插件， 获取所述消息集合中的日志数据， 并对所述日志数 据进行数据清洗； 所述kafka集群根据各个所述下游数据库的类型， 将经过数据清洗得到的日志数据解权　利　要　求　书 1/2 页 2 CN 115203336 A 2析成对应的格式， 并写入各个所述下游数据库中。 9.一种计算机终端， 其特征在于， 包括处理器和存储器， 所述存储器存储有计算机程 序， 所述计算机程序在所述处理器上运行时执行权利要求 1至7中任一项 所述的数据库数据 实时同步方法。 10.一种可读存储介质， 其特征在于， 其存储有计算机程序， 所述计算机程序在处理器 上运行时执 行权利要求1至7中任一项所述的数据库数据实时同步方法。权　利　要　求　书 2/2 页 3 CN 115203336 A 3