(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202211264176.9
(22)申请日 2022.10.14
(71)申请人 北京百度网讯科技有限公司
地址 100085 北京市海淀区上地十街10号
百度大厦2层
(72)发明人 汪长水 段立国 贾宝雷
(74)专利代理 机构 中科专利商标代理有限责任
公司 11021
专利代理师 陈文卓
(51)Int.Cl.
G06F 16/21(2019.01)
G06F 16/27(2019.01)
(54)发明名称
数据迁移方法、 装置、 设备以及存 储介质
(57)摘要
本公开提供了一种数据迁移方法、 装置、 设
备以及存储介质, 涉及云计算、 云存储、 云网络和
云数据库技术, 可应用在智能云场景下。 具体实
现方案为: 响应于接收到数据迁移请求, 获取与
数据迁移请求对应的待迁移数据表, 其中, 待迁
移数据表包括至少一个待迁移数据集的数据信
息, 待迁移数据集包括存储在第一数据库中的第
一数据和存储在第二数据库中的第二数据; 针对
待迁移数据表中的每个数据信息, 从第一数据库
中获取与每个数据信息对应的第一数据, 并将第
一数据写入消息队列; 以及针对消息队列中的每
个第一数据, 从第二数据库中获取与每个第一数
据对应的第二数据, 并将每个第一数据和与每个
第一数据对应的第二数据写 入目标数据库。
权利要求书3页 说明书9页 附图4页
CN 115510036 A
2022.12.23
CN 115510036 A
1.一种数据迁移方法, 包括:
响应于接收到数据迁移请求, 获取与所述数据迁移请求对应的待迁移数据表, 其中, 所
述待迁移数据 表包括至少一个待迁移数据集的数据信息, 所述待迁移数据集包括存储在第
一数据库中的第一数据和存 储在第二数据库中的第二数据;
针对所述待迁移数据表中的每个数据信 息, 从所述第 一数据库中获取与所述每个数据
信息对应的第一数据, 并将所述第一数据写入消息队列; 以及
针对所述消息队列中的每个第 一数据, 从所述第 二数据库中获取与 所述每个第 一数据
对应的第二数据, 并将所述每个第一数据和与所述每个第一数据对应的第二数据写入目标
数据库。
2.根据权利要求1所述的方法, 应用于数据传输系统, 其中, 所述数据传输系统包括多
个第一节点, 所述方法还 包括:
根据共识算法, 从所述多个第一节点中确定启动节点;
其中, 所述针对所述待迁移数据表中的每个数据信息, 从所述第一数据库中获取与所
述每个数据信息对应的第一数据, 并将所述第一数据写入消息队列, 包括:
利用所述启动节点, 从所述第一数据库中获取与所述每个数据信息对应的第一数据,
并将所述第一数据写入消息队列。
3.根据权利要求2所述的方法, 其中, 所述数据传输系统包括多个第二节点, 所述方法
还包括:
根据共识算法, 从所述多个第一节点中确定数据迁移节点, 并为所述数据迁移节点配
置至少一个工人节点;
其中, 所述针对所述消息队列中的每个第一数据, 从所述第二数据库中获取与所述每
个第一数据对应的第二数据, 并将所述每个第一数据和与所述每个第一数据对应的第二数
据写入目标 数据库, 包括:
利用所述数据迁移节点, 根据所述消息队列中的每个第一数据, 生成至少一个迁移任
务, 并将所述至少一个迁移任务分配给与所述数据迁移节点对应的至少一个工人节点; 以
及
利用所述至少一个工人节点, 根据分配的迁移任务, 以从所述第二数据库中获取与所
述每个第一数据对应的第二数据, 并将所述每个第一数据与所述每个第二数据写入目标数
据库。
4.根据权利要求1所述的方法, 还 包括:
在将所述每个第一数据和与所述每个第一数据对应的第二数据写入目标数据库的情
况下, 检查所述目标数据库中写入的数据与所述第一数据库和所述第二数据库中的待迁移
数据集是否一 致; 以及
在所述目标数据库中写入的数据与所述第一数据库和所述第二数据库中的待迁移数
据集不一致的情况 下, 删除已写入所述目标 数据库中的数据。
5.根据权利要求1所述的方法, 还 包括:
获取第一数据库的数据库变更日志;
根据所述数据库变更日志, 确定接收到数据迁移请求之后预定时间内, 所述第一数据
库中发生变更的增量数据; 以及权 利 要 求 书 1/3 页
2
CN 115510036 A
2将所述增量数据作为第一数据写入所述消息队列。
6.根据权利要求2所述的方法, 还 包括:
确定所述数据迁移 节点中的水位信息; 以及
在所述水位信 息满足预定条件的情况下, 将针对所述待迁移数据集的读写请求转发至
所述目标 数据库。
7.一种数据迁移装置, 包括:
获取模块, 用于响应于接收到数据迁移请求, 获取与所述数据迁移请求对应的待迁移
数据表, 其中, 所述待迁移数据 表包括至少一个待迁移数据集的数据信息, 所述待迁移数据
集包括存 储在第一数据库中的第一数据和存 储在第二数据库中的第二数据;
第一写入模块, 用于针对所述待迁移数据表中的每个数据信息, 从所述第一数据库中
获取与所述每 个数据信息对应的第一数据, 并将所述第一数据写入消息队列; 以及
第二写入模块, 用于针对所述消息队列中的每个第一数据, 从所述第二数据库中获取
与所述每个第一数据对应的第二数据, 并将所述每个第一数据和与所述每个第一数据对应
的第二数据写入目标 数据库。
8.根据权利要求7所述的装置, 应用于数据传输系统, 其中, 所述数据传输系统包括多
个第一节点, 所述装置还 包括:
第一确定模块, 用于根据共识算法, 从所述多个第一节点中确定启动节点;
其中, 所述第一写入 模块还用于:
利用所述启动节点, 从所述第一数据库中获取与所述每个数据信息对应的第一数据,
并将所述第一数据写入消息队列。
9.根据权利要求8所述的装置, 其中, 所述数据传输系统包括多个第二节点, 所述装置
还包括:
第二确定模块, 用于根据共识算法, 从所述多个第 一节点中确定数据迁移节点, 并为所
述数据迁移 节点配置 至少一个工人节点;
其中, 所述第二写入 模块还用于:
利用所述数据迁移节点, 根据所述消息队列中的每个第一数据, 生成至少一个迁移任
务, 并将所述至少一个迁移任务分配给与所述数据迁移节点对应的至少一个工人节点; 以
及
利用所述至少一个工人节点, 根据分配的迁移任务, 以从所述第二数据库中获取与所
述每个第一数据对应的第二数据, 并将所述每个第一数据与所述每个第二数据写入目标数
据库。
10.根据权利要求7 所述的装置, 还 包括:
检查模块, 用于在将所述每个第 一数据和与所述每个第 一数据对应的第 二数据写入目
标数据库的情况下, 检查所述目标数据库中写入的数据与所述第一数据库和所述第二数据
库中的待迁移数据集是否一 致; 以及
删除模块, 用于在所述目标数据库中写入的数据与所述第 一数据库和所述第 二数据库
中的待迁移数据集 不一致的情况 下, 删除已写入所述目标 数据库中的数据。
11.根据权利要求7 所述的装置, 还 包括:
日志获取模块, 用于获取第一数据库的数据库变更日志;权 利 要 求 书 2/3 页
3
CN 115510036 A
3
专利 数据迁移方法、装置、设备以及存储介质
文档预览
中文文档
17 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共17页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 人生无常 于 2024-03-18 00:50:46上传分享