(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202211261923.3
(22)申请日 2022.10.14
(71)申请人 中国工商银行股份有限公司
地址 100140 北京市西城区复兴门内大街
55号
(72)发明人 钱磊 秦喆
(74)专利代理 机构 北京康信知识产权代理有限
责任公司 1 1240
专利代理师 黄海英
(51)Int.Cl.
G06F 16/27(2019.01)
(54)发明名称
集群之间Hive数据表的同步方法、 装置以及
电子设备
(57)摘要
本申请公开了一种集群之间Hive数据表的
同步方法、 装置以及电子设备。 涉及大数据技术
领域, 该方法包括: 获取源集群信息, 其中, 源集
群信息至少包括: 源集群的名称、 源集群中的
Hive数据库的名称、 源 集群中的Hive数据库中待
同步的Hive数据表的名称; 根据源集群信息确定
待同步的Hive数据表 的目标信息, 其中, 目标信
息至少包括: 表结构信息、 授权信息, 其中, 授权
信息至少包括: 权限所属的授权对象、 权限名称;
对目标信息进行处理, 得到处理后的目标信息;
将处理后的目标信息同步至目标集群的Hive数
据库中的目标Hive数据表中。 通过本申请, 解决
了相关技术中跨集群时Hive表的同步效率较低
的问题。
权利要求书2页 说明书10页 附图2页
CN 115544166 A
2022.12.30
CN 115544166 A
1.一种集群之间Hive 数据表的同步方法, 其特 征在于, 包括:
获取源集群信息, 其中, 所述源集群信息至少包括: 源集群的名称、 源集群中的Hive数
据库的名称、 所述源集群中的Hive 数据库中待同步的Hive 数据表的名称;
根据所述源集群信息确定所述待同步的Hive数据表的目标信息, 其中, 所述目标信息
至少包括: 表结构信息、 授权信息, 其中, 所述授权信息至少包括: 权限所属的授权对象、 权
限名称;
对所述目标信息进行处 理, 得到处 理后的目标信息;
将所述处 理后的目标信息同步至目标集群的Hive 数据库中的目标Hive 数据表中。
2.根据权利要求1所述的方法, 其特征在于, 在将所述处理后的目标信 息同步至目标集
群的Hive 数据库中的目标Hive 数据表中之前, 所述方法还 包括:
响应于在目标界面输入的查询指令, 得到所述目标集群的Hive数据库的库名称以及所
述目标Hive 数据表的表名称, 其中, 所述 查询指令用于对所述目标集群中的信息进行查询。
3.根据权利要求1所述的方法, 其特征在于, 根据所述源集群信息确定所述待同步的
Hive数据表的目标信息之一包括:
获取所述源集群中的Hive接口信息;
根据所述Hive接口信息连接所述源集群中的Hive 数据库;
响应于对所述表结构信息的输出指令, 将所述源集群中的Hive数据库的表结构信息进
行输出, 得到 输出后的表结构信息;
将所述输出后的表结构信息作为所述目标信息之一。
4.根据权利要求1所述的方法, 其特征在于, 根据所述源集群信息确定所述待同步的
Hive数据表的目标信息之一包括:
获取所述源集群中的Hive 元数据;
确定所述Hive 元数据中的多个元 数据表;
从所述多个元 数据表中提取 所述源集群中Hive的数据库的ID信息;
根据所述源集群中的Hive 数据库的ID信息确定所述目标信息之一。
5.根据权利 要求4所述的方法, 其特征在于, 根据所述源集群 中的Hive数据库的ID信息
确定所述目标信息之一包括:
根据所述待同步的Hive数据表的名称、 所述源集群中的Hive数据库的ID信息提取所述
待同步的Hive 数据表的ID信息;
根据所述待同步的Hive数据表的ID信息从多个授权信息表中提取所述待同步的Hive
数据表的授权信息;
将所述待同步的Hive 数据表的授权信息作为所述目标信息之一。
6.根据权利要求1所述的方法, 其特征在于, 在对所述目标信息进行处理, 得到处理后
的目标信息包括:
根据所述表结构信息创建目标数据表结构, 其中, 所述目标数据表结构用于存储所述
待同步的Hive 数据表;
在所述授权信 息中所述权限所属的授权对象为用户群组时, 获取所述用户群组中的群
组角色名称, 根据所述群组角色名称确定所述目标集群中的相同名称群组的角色ID信息,
根据所述角色ID信息确定所述用户群组对应的目标授权名称, 根据所述目标授权名称对所权 利 要 求 书 1/2 页
2
CN 115544166 A
2述源集群中的授权名称进行替换, 得到所述目标集群所需的授权信息; 以及,
将所述目标数据表结构以及所述目标集群所需的授权信息作为所述处理后的目标信
息。
7.根据权利要求1所述的方法, 其特征在于, 将所述处理后的目标信 息同步至目标集群
的Hive数据库中的目标Hive 数据表中包括:
获取所述目标集群中的目标Hive接口信息;
根据所述目标Hive接口信息连接所述目标集群的所述Hive 数据库;
响应于同步指令, 将所述处理后的目标信息同步至所述目标集群的所述Hive数据库中
的所述目标Hive 数据表中。
8.一种集群之间Hive 数据表的同步装置, 其特 征在于, 包括:
获取单元, 用于获取源集群信息, 其中, 所述源集群信息至少包括: 源集群的名称、 源集
群中的Hive 数据库的名称、 所述源集群中的Hive 数据库中待同步的Hive 数据表的名称;
确定单元, 用于根据所述源集群信息确定所述待同步的Hive数据表的目标信息, 其中,
所述目标信息至少包括: 表结构信息、 授权信息, 其中, 所述授权信息至少包括: 权限所属的
授权对象、 权限名称;
处理单元, 用于对所述目标信息进行处 理, 得到处 理后的目标信息;
同步单元, 用于将所述处理后的目标信息同步至目标集群的Hive数据库中的目标Hive
数据表中。
9.一种计算机可读存储介质, 其特征在于, 所述存储介质存储程序, 其中, 所述程序执
行权利要求1至7中任意 一项所述的方法。
10.一种电子设备, 其特征在于, 包括一个或多个处理器和存储器, 所述存储器用于存
储一个或多个程序, 其中, 当所述一个或多个程序被所述一个或多个处理器执行时, 使得所
述一个或多个处 理器实现权利要求1至7中任意 一项所述的方法。权 利 要 求 书 2/2 页
3
CN 115544166 A
3
专利 集群之间Hive数据表的同步方法、装置以及电子设备
文档预览
中文文档
15 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共15页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 人生无常 于 2024-03-18 00:51:03上传分享