(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211123904.4 (22)申请日 2022.09.15 (71)申请人 中国平安财产保险股份有限公司 地址 518000 广东省深圳市福田区益田路 5033号平安金融中心12、 13、 38、 39、 40 层 (72)发明人 易晓博　 (74)专利代理 机构 深圳国新 南方知识产权代理 有限公司 4 4374 专利代理师 李小东 (51)Int.Cl. G06F 16/901(2019.01) G06F 16/27(2019.01) (54)发明名称 基于分布式系统的数据存储方法、 装置、 设 备及存储介质 (57)摘要 本发明涉及计算机领域， 公开了一种基于分 布式系统的数据存储方法、 装置、 设备及存储介 质。 该方法包括： 创建数据表和哈希链表， 对数据 表进行分区处理和分桶处理， 根据分区处理结果 和分桶处理结果建立数据表与哈希链表的关联 映射关系； 接收数据存储请求并获取对应的待处 理数据以及各待处理数据的主键标识； 响应于数 据存储请求， 获取预存储在哈希链表中的分桶数 量， 以分桶数量为基准， 根据主键标识对待处理 数据进行哈希分桶， 根据哈希分桶结果存储待处 理数据； 统计数据表中各分区的数据文件， 根据 统计结果调整分桶策略并更新哈希链表。 通过上 述方式， 本发明能够动态调整数据分桶策略， 提 高数据加工处理效率， 降低存储管理压力， 节约 数据维护成本 。 权利要求书2页 说明书7页 附图4页 CN 115481295 A 2022.12.16 CN 115481295 A 1.一种基于分布式系统的数据存 储方法， 其特 征在于， 包括： 在所述分布式系统中创建数据表和哈希链表， 对所述数据表进行分区处理和分桶处 理， 根据分区处 理结果和分桶处 理结果建立所述数据表与所述哈希 链表的关联映射关系； 接收数据存储请求并获取与所述数据存储请求对应的待处理数据以及各所述待处理 数据的主键标识； 响应于所述数据存储请求， 获取预存储在所述哈希链表中的分桶数量， 以所述分桶数 量为基准， 根据所述主键标识对所述待处理数据进行哈希分桶， 根据哈希分桶结果将所述 待处理数据存 储到所述数据表中； 统计所述数据表中各分区的数据文件， 将统计结果与预设阈值进行比较， 根据比较结 果调整所述数据表的分桶策略， 并将调整结果更新至所述哈希 链表中。 2.根据权利要求1所述的数据存储方法， 其特征在于， 所述在 分布式系统中创建数据表 和哈希链表， 对所述数据表进行分区处理和分桶处理， 根据分区处理结果和分桶处理结果 建立所述数据表与所述哈希 链表的关联映射关系包括： 在所述分布式系统中创建数据表并获取所述数据表的存储根路径， 在所述存储根路径 下创建所述哈希 链表， 将所述哈希 链表与所述数据表进行关联绑定； 对所述数据表进行初始化分区处 理， 得到各分区的分区名称和分区数量； 对各分区进行初始化分桶处 理， 得到各分区的分桶数量； 将各分区对应的所述分区名称以及所述分桶数量存储到所述哈希链表中， 形成所述数 据表与所述哈希 链表的关联映射关系。 3.根据权利要求1所述的数据存储方法， 其特征在于， 所述响应于所述数据存储请求， 获取预存储在所述哈希链表中的分桶数量， 以所述分桶数量为基准， 根据所述主键标识对 所述待处理数据进行哈希分桶， 根据哈希分桶结果将所述待处理数据存储到所述数据 表中 包括： 响应于所述数据存 储请求， 获取 预存储在所述哈希 链表中的分桶数量； 以所述分桶数量为基准， 基于哈希算法对所述主键标识进行哈希值转换处理， 得到与 各所述主键标识对应的哈希值以及对应的存 储路径； 根据所述哈希值以及对应的所述存 储路径将所述待处 理数据存 储到所述数据表中。 4.根据权利要求1所述的数据存储方法， 其特征在于， 所述统计所述数据表中各分区的 数据文件， 将统计结果与预设阈值进 行比较， 根据比较结果调整 所述数据 表的分桶策略， 并 将调整结果更新至所述哈希 链表中包括： 获取各分区的数据文件的属性信 息， 根据所述属性信 息统计同一分区所包含的数据文 件的大小的累计值； 将所述累计值与预设阈值进行比较， 根据比较结果调整所述数据表的分桶策略， 并将 调整结果更新至所述哈希 链表中。 5.根据权利要求4所述的数据存储方法， 其特征在于， 所述预设阈值包括分桶下限阈 值， 所述将所述累计值与预设阈值进 行比较， 根据比较结果调整 所述数据 表的分桶策略， 并 将调整结果更新至所述哈希 链表中包括： 将所述累计值与所述分桶下限阈值进行比较； 若所述累计值小于所述分桶下限阈值， 则按照第一分桶策略计算新的分桶数量， 并将权　利　要　求　书 1/2 页 2 CN 115481295 A 2新的分桶数量更新至所述哈希 链表中。 6.根据权利要求5所述的数据存储方法， 其特征在于， 所述预设阈值包括分桶上限阈 值， 所述将所述累计值与预设阈值进 行比较， 根据比较结果调整 所述数据 表的分桶策略， 并 将调整结果更新至所述哈希 链表中包括： 将所述累计值与所述分桶上限阈值进行比较； 若所述累计值大于所述分桶上限阈值， 则按照第二分桶策略计算新的分桶数量， 并将 新的分桶数量更新至所述哈希 链表中。 7.根据权利要求6所述的数据存储方法， 其特征在于， 所述第 一分桶策略为计算所述累 计值与所述分桶下限阈值的比值， 根据比值计算结果确定新的分桶数量； 所述第二分桶策 略为计算所述累计值与所述分桶上限阈值的比值， 根据比值计算结果确定新的分桶数量。 8.一种基于分布式系统的数据存 储装置， 其特 征在于， 包括： 创建模块， 用于在所述分布式系统中创建数据表和哈希链表， 对所述数据表进行分区 处理和分桶处理， 根据分区处理结果和分桶处理结果建立所述数据表与所述哈希链表的关 联映射关系； 接收模块， 用于接收数据存储请求并获取与所述数据存储请求对应的待处理数据以及 各所述待处 理数据的主键标识； 响应模块， 用于响应于所述数据存储请求， 获取预存储在所述哈希链表中的分桶数量， 以所述分桶数量为基准， 根据所述主键标识对所述待处理数据进行哈希分桶， 根据哈希分 桶结果将所述待处 理数据存 储到所述数据表中； 调整模块， 用于统计所述数据表中各分区的数据文件， 将统计结果与预设阈值进行比 较， 根据比较结果调整所述数据表的分桶策略， 并将调整结果更新至所述哈希 链表中。 9.一种计算机设备， 包括： 存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求 1‑7任一项所述 的基于分布式系统的数据存 储方法。 10.一种计算机存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被处 理器执行时实现如权利要求1 ‑7中任一项所述的基于分布式系统的数据存 储方法。权　利　要　求　书 2/2 页 3 CN 115481295 A 3