全网唯一标准王
文库搜索
切换导航
文件分类
频道
文件分类
批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211261923.3 (22)申请日 2022.10.14 (71)申请人 中国工商银行股份有限公司 地址 100140 北京市西城区复兴门内大街 55号 (72)发明人 钱磊 秦喆 (74)专利代理 机构 北京康信知识产权代理有限 责任公司 1 1240 专利代理师 黄海英 (51)Int.Cl. G06F 16/27(2019.01) (54)发明名称 集群之间Hive数据表的同步方法、 装置以及 电子设备 (57)摘要 本申请公开了一种集群之间Hive数据表的 同步方法、 装置以及电子设备。 涉及大数据技术 领域, 该方法包括: 获取源集群信息, 其中, 源集 群信息至少包括: 源集群的名称、 源集群中的 Hive数据库的名称、 源 集群中的Hive数据库中待 同步的Hive数据表的名称; 根据源集群信息确定 待同步的Hive数据表 的目标信息, 其中, 目标信 息至少包括: 表结构信息、 授权信息, 其中, 授权 信息至少包括: 权限所属的授权对象、 权限名称; 对目标信息进行处理, 得到处理后的目标信息; 将处理后的目标信息同步至目标集群的Hive数 据库中的目标Hive数据表中。 通过本申请, 解决 了相关技术中跨集群时Hive表的同步效率较低 的问题。 权利要求书2页 说明书10页 附图2页 CN 115544166 A 2022.12.30 CN 115544166 A 1.一种集群之间Hive 数据表的同步方法, 其特 征在于, 包括: 获取源集群信息, 其中, 所述源集群信息至少包括: 源集群的名称、 源集群中的Hive数 据库的名称、 所述源集群中的Hive 数据库中待同步的Hive 数据表的名称; 根据所述源集群信息确定所述待同步的Hive数据表的目标信息, 其中, 所述目标信息 至少包括: 表结构信息、 授权信息, 其中, 所述授权信息至少包括: 权限所属的授权对象、 权 限名称; 对所述目标信息进行处 理, 得到处 理后的目标信息; 将所述处 理后的目标信息同步至目标集群的Hive 数据库中的目标Hive 数据表中。 2.根据权利要求1所述的方法, 其特征在于, 在将所述处理后的目标信 息同步至目标集 群的Hive 数据库中的目标Hive 数据表中之前, 所述方法还 包括: 响应于在目标界面输入的查询指令, 得到所述目标集群的Hive数据库的库名称以及所 述目标Hive 数据表的表名称, 其中, 所述 查询指令用于对所述目标集群中的信息进行查询。 3.根据权利要求1所述的方法, 其特征在于, 根据所述源集群信息确定所述待同步的 Hive数据表的目标信息之一包括: 获取所述源集群中的Hive接口信息; 根据所述Hive接口信息连接所述源集群中的Hive 数据库; 响应于对所述表结构信息的输出指令, 将所述源集群中的Hive数据库的表结构信息进 行输出, 得到 输出后的表结构信息; 将所述输出后的表结构信息作为所述目标信息之一。 4.根据权利要求1所述的方法, 其特征在于, 根据所述源集群信息确定所述待同步的 Hive数据表的目标信息之一包括: 获取所述源集群中的Hive 元数据; 确定所述Hive 元数据中的多个元 数据表; 从所述多个元 数据表中提取 所述源集群中Hive的数据库的ID信息; 根据所述源集群中的Hive 数据库的ID信息确定所述目标信息之一。 5.根据权利 要求4所述的方法, 其特征在于, 根据所述源集群 中的Hive数据库的ID信息 确定所述目标信息之一包括: 根据所述待同步的Hive数据表的名称、 所述源集群中的Hive数据库的ID信息提取所述 待同步的Hive 数据表的ID信息; 根据所述待同步的Hive数据表的ID信息从多个授权信息表中提取所述待同步的Hive 数据表的授权信息; 将所述待同步的Hive 数据表的授权信息作为所述目标信息之一。 6.根据权利要求1所述的方法, 其特征在于, 在对所述目标信息进行处理, 得到处理后 的目标信息包括: 根据所述表结构信息创建目标数据表结构, 其中, 所述目标数据表结构用于存储所述 待同步的Hive 数据表; 在所述授权信 息中所述权限所属的授权对象为用户群组时, 获取所述用户群组中的群 组角色名称, 根据所述群组角色名称确定所述目标集群中的相同名称群组的角色ID信息, 根据所述角色ID信息确定所述用户群组对应的目标授权名称, 根据所述目标授权名称对所权 利 要 求 书 1/2 页 2 CN 115544166 A 2述源集群中的授权名称进行替换, 得到所述目标集群所需的授权信息; 以及, 将所述目标数据表结构以及所述目标集群所需的授权信息作为所述处理后的目标信 息。 7.根据权利要求1所述的方法, 其特征在于, 将所述处理后的目标信 息同步至目标集群 的Hive数据库中的目标Hive 数据表中包括: 获取所述目标集群中的目标Hive接口信息; 根据所述目标Hive接口信息连接所述目标集群的所述Hive 数据库; 响应于同步指令, 将所述处理后的目标信息同步至所述目标集群的所述Hive数据库中 的所述目标Hive 数据表中。 8.一种集群之间Hive 数据表的同步装置, 其特 征在于, 包括: 获取单元, 用于获取源集群信息, 其中, 所述源集群信息至少包括: 源集群的名称、 源集 群中的Hive 数据库的名称、 所述源集群中的Hive 数据库中待同步的Hive 数据表的名称; 确定单元, 用于根据所述源集群信息确定所述待同步的Hive数据表的目标信息, 其中, 所述目标信息至少包括: 表结构信息、 授权信息, 其中, 所述授权信息至少包括: 权限所属的 授权对象、 权限名称; 处理单元, 用于对所述目标信息进行处 理, 得到处 理后的目标信息; 同步单元, 用于将所述处理后的目标信息同步至目标集群的Hive数据库中的目标Hive 数据表中。 9.一种计算机可读存储介质, 其特征在于, 所述存储介质存储程序, 其中, 所述程序执 行权利要求1至7中任意 一项所述的方法。 10.一种电子设备, 其特征在于, 包括一个或多个处理器和存储器, 所述存储器用于存 储一个或多个程序, 其中, 当所述一个或多个程序被所述一个或多个处理器执行时, 使得所 述一个或多个处 理器实现权利要求1至7中任意 一项所述的方法。权 利 要 求 书 2/2 页 3 CN 115544166 A 3
专利 集群之间Hive数据表的同步方法、装置以及电子设备
文档预览
中文文档
15 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
赞助2元下载(无需注册)
温馨提示:本文档共15页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
下载文档到电脑,方便使用
赞助2元下载
本文档由 人生无常 于
2024-03-18 00:51:03
上传分享
举报
下载
原文档
(399.3 KB)
分享
友情链接
ISO 4102-1984Equipment for crop protection. Sprayers. Connection threading first edition.pdf
ISO 771 2021 Oilseed meals — Determination of moisture and volatile matter content.pdf
ISO 24605 2024 Road vehicles Dimethyl ether (DME) refuelling connector with pressure equalizing port.pdf
ISO 7574-3:1985 Acoustics — Statistical methods for determining and verifying stated.pdf
ISO 23868 2008 Document management — Monitoring and verification of information stored on 130 mm optical media.pdf
ISO 4251-1 2019 Code designated diagonal tyres (ply rating marked series) for agricultural tractors, trailers and machines — Part 1 Tyre designation and dimensions, and approved rim contours.pdf
ISO 4130-1978Road vehicles. Three-dimensional reference system and fiducial marks. Definitions first.pdf
ISO 6939-1988Textiles. Yarns from packages. Method of test for breaking strength of yarn by the skei.pdf
ISO 6033 1983 Cinematography — Projection reel size 7 for 8 mm Type S motion-picture film — Dimensions and specifications.pdf
ISO 4211-4 1988 Furniture — Tests for surfaces — Part 4 Assessment of resistance to impact.pdf
GB-T 44911-2024 航空器 机载设备环境和操作条件 湿度、温度和大气压力试验.pdf
GB-Z 42192-2022 智慧城市基础设施 绩效评价的原则和要求.pdf
GB-T 24329-2009 出口儿童高椅安全要求及测试方法.pdf
GB-T 16464-1996 半导体器件 集成电路 第1部分 总则.pdf
GB-T 6695-1998 20%氰戊菊酯乳油.pdf
GB-T 36082-2018 纳米技术 特定毒性筛查用金纳米颗粒表面表征 傅里叶变换红外光谱法.pdf
GB-T 4689.21-2008 皮革 物理和机械试验 静态吸水性的测定.pdf
GB-T 18221-2000 信息技术 程序设计语言、环境与系统软件接口 独立于语言的数据类型.pdf
GB-T 11450.1-1989 空心金属波导 第一部分 一般要求和测量方法.pdf
GB-T 12618.6-2006 开口型平圆头抽芯铆钉 40、41级.pdf
1
/
3
15
评价文档
赞助2元 点击下载(399.3 KB)
回到顶部
×
微信扫码支付
2
元 自动下载
官方客服微信:siduwenku
支付 完成后 如未跳转 点击这里 下载
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们
微信(点击查看客服)
,我们将及时删除相关资源。