说明:收录全网最新的团体标准 提供单次或批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211168189.6 (22)申请日 2022.09.23 (71)申请人 东软集团股份有限公司 地址 110179 辽宁省沈阳市 浑南新区新秀 街2号 (72)发明人 李军 李东鸽 黄治纲  (74)专利代理 机构 北京英创嘉友知识产权代理 事务所(普通 合伙) 11447 专利代理师 张晓旭 (51)Int.Cl. G06F 16/22(2019.01) G06F 16/2455(2019.01) G06F 16/28(2019.01) (54)发明名称 数据比对方法、 装置、 介质和电子设备 (57)摘要 本公开涉及一种数据比对方法、 装置、 介质 和电子设备, 所述方法包括: 将待比对的第一数 据库的数据和第二数据库的数据 读取至缓存中, 分别获得所述第一数据库的比对数据和所述第 二数据库的比对 数据; 针对所述第一数据库和所 述第二数据库中的每一数据库, 将所述数据库的 所述比对数据进行相同的分组处理, 获得所述比 对数据对应的数据存储分组, 每一所述数据存储 分组下包含至少一个数据存储块; 根据所述第一 数据库对应的数据分组下的第一数据存储块, 和 所述第二数据库的对应的数据分组下的第二数 据存储块进行数据比对, 获得数据比对结果, 数 据比对结果包含所述第一数据库和所述第二数 据库中的差异数据的标识信息。 由此, 实现对数 据的快速、 有效比对。 权利要求书2页 说明书12页 附图2页 CN 115510062 A 2022.12.23 CN 115510062 A 1.一种数据比对方法, 其特 征在于, 所述方法包括: 将待比对的第 一数据库的数据和第 二数据库的数据读取至缓存中, 分别获得所述第 一 数据库的比对数据和所述第二数据库的比对数据; 针对所述第 一数据库和所述第 二数据库中的每一数据库, 将所述数据库的所述比对数 据进行相同的分组处理, 获得所述比对 数据对应的数据存储分组, 其中, 每一所述数据存储 分组下包 含至少一个数据存 储块; 根据所述第 一数据库对应的数据分组下的第 一数据存储块, 和所述第 二数据库的对应 的数据分组下的第二数据存储块进行数据比对, 获得数据比对 结果, 其中, 所述数据比对结 果包含所述第一数据库和所述第二数据库中的差异数据的标识信息 。 2.根据权利要求1所述的方法, 其特征在于, 所述针对所述第 一数据库和所述第 二数据 库中的每一数据库, 将所述数据库的所述比对数据进行相同的分组处理, 获得所述比对数 据对应的数据存 储分组, 包括: 针对每一所述数据库, 将所述数据库的比对数据对应的关键字段信息进行哈希处理, 获得所述比对数据对应的键值对中的键信息, 并将所述比对数据进行哈希处理, 获得所述 比对数据对应的所述键值对中的值信息; 根据所述键信 息和分组数量进行取余计算, 将取余计算所得的余数相同的各个键信 息 对应的数据记录存储至同一数据存储分组的数据存储块中, 其中, 每一所述数据记录包括 键信息、 所述键信息对应的值信息以及所述键信息对应的关键 字段信息 。 3.根据权利要求2所述的方法, 其特征在于, 所述将取余计算所得的余数相同的各个键 信息对应的数据记录存 储至同一数据存 储分组的数据存 储块中, 包括: 针对每一所述 余数, 确定所述 余数对应的键信息的数量; 若所述数量大于数量阈值, 根据所述余数对应的键信息和分块数量进行取余计算, 将 取余计算所得 的余数相同的各个键信息对应的数据记录存储至所述余数对应的数据存储 分组下的同一数据存 储块, 其中, 所述数据存 储块内的数据有序。 4.根据权利要求2所述的方法, 其特 征在于, 每一所述数据存 储块内的数据有序; 所述根据 所述第一数据库对应的数据分组下的第 一数据存储块, 和所述第 二数据库的 对应的数据分组下的第二数据存 储块进行 数据比对, 获得 数据比对结果, 包括: 将所述第一数据存储块和所述第二数据存储块中对应于相同的块索引信息的数据存 储块确定为一组目标比对块集合, 其中, 所述块索引信息用于指示所述数据存储块所属的 数据存储分组和在该 数据存储分组中的位置信息; 针对每一所述目标比对块集合, 确定所述目标比对块集合中的第 一比对块和第 二比对 块分别对应的信息摘要是否相同; 若所述第一比对块和所述第 二比对块分别对应的信 息摘要相同, 则确定所述目标比对 块集合中每一所述数据记录对应的比对结果为无差异数据, 所述数据比对 结果包括各个所 述数据记录对应的比对结果。 5.根据权利要求4所述的方法, 其特征在于, 所述根据所述第 一数据库对应的数据分组 下的第一数据存储块, 和所述第二数据库的对应的数据分组下的第二数据存储块进行数据 比对, 获得 数据比对结果, 还 包括: 若所述第一比对块和所述第 二比对块分别对应的信 息摘要不同, 确定第 一比对键和第权 利 要 求 书 1/2 页 2 CN 115510062 A 2二比对键是否相同, 其中, 所述第一比对键为所述第一比对块中未被遍历的最小的键信息, 所述第二比对键为所述第二比对块中未被遍历的最小的键信息; 在所述第一比对键和所述第 二比对键相同的情况下, 若所述第 一比对键对应的第 一比 对值和所述的第二比对键对应的第二比对值相同, 则确定所述第一比对键和所述第二比对 键对应的数据记录的比对结果为非差异数据; 若所述第一比对值和所述第二比对值不同, 则确定所述第一比对键和所述第二比对键对应的数据 记录的比对结果为差异数据, 并将所 述差异数据的键信息对应的关键 字段信息确定为所述标识信息; 对所述第一比对键和所述第 二比对键进行更新, 并返回执行所述确定第 一比对键和第 二比对键是否相同的步骤, 直至所述第一比对块和所述第二比对块中的键信息遍历完成。 6.根据权利要求5所述的方法, 其特征在于, 所述根据所述第 一数据库对应的数据分组 下的第一数据存储块, 和所述第二数据库的对应的数据分组下的第二数据存储块进行数据 比对, 获得 数据比对结果, 还 包括: 在所述第一比对键和所述第 二比对键不同的情况下, 将所述第 一比对键和所述第 二比 对键中的小者对应的数据 记录的比对结果确定为差异数据, 并将所述差异数据的键信息对 应的关键 字段信息确定为所述标识信息; 对所述第一比对键和所述第 二比对键 中的小者进行更新, 并返回执行所述确定第 一比 对键和第二比对键是否相同的步骤, 直至所述第一比对块和所述第二比对块中的键信息遍 历完成。 7.根据权利要求1所述的方法, 其特 征在于, 所述方法还 包括: 根据所述数据比对结果中的每一标识信 息, 从所述标识信 息对应的数据库中查询所述 标识信息对应的存 储数据; 根据所述存 储数据, 确定所述存 储数据对应的差异信息; 输出所述标识信 息、 所述标识信 息对应的数据库以及所述标识信 息对应的存储数据和 所述差异信息 。 8.一种数据比对 装置, 其特 征在于, 所述装置包括: 读取模块, 用于将待比对的第一数据库的数据和第二数据库的数据读取至缓存中, 分 别获得所述第一数据库的比对数据和所述第二数据库的比对数据; 分组模块, 用于针对所述第一数据库和所述第二数据库中的每一数据库, 将所述数据 库的所述比对数据进 行相同的分组处理, 获得所述比对数据对应的数据存储分组, 其中, 每 一所述数据存 储分组下包 含至少一个数据存 储块; 比对模块, 用于根据所述第一数据库对应的数据分组下的第一数据存储块, 和所述第 二数据库的对应的数据分组下的第二数据存储块进 行数据比对, 获得数据比对结果, 其中, 所述数据比对结果包 含所述第一数据库和所述第二数据库中的差异数据的标识信息 。 9.一种非临时性计算机可读存储介质, 其上存储有计算机程序, 其特征在于, 该程序被 处理器执行时实现权利要求1 ‑7中任一项所述方法的步骤。 10.一种电子设备, 其特 征在于, 包括: 存储器, 其上存 储有计算机程序; 处理器, 用于执行所述存储器 中的所述计算机程序, 以实现权利要求1 ‑7中任一项所述 方法的步骤。权 利 要 求 书 2/2 页 3 CN 115510062 A 3

.PDF文档 专利 数据比对方法、装置、介质和电子设备

文档预览
中文文档 17 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共17页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 数据比对方法、装置、介质和电子设备 第 1 页 专利 数据比对方法、装置、介质和电子设备 第 2 页 专利 数据比对方法、装置、介质和电子设备 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 11:35:57上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。