(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211087576.7 (22)申请日 2022.09.07 (71)申请人 浩云科技股份有限公司 地址 511493 广东省广州市番禺区东环街 番禺大道北555号天安总部中心22号 楼101房 (72)发明人 林健熙　叶青　温凌敏　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 郭浩辉 (51)Int.Cl. G06F 16/21(2019.01) G06F 16/22(2019.01) G06F 16/25(2019.01) G06F 16/28(2019.01) (54)发明名称 一种数据迁移的方法及系统 (57)摘要 本发明公开了一种数据迁移的方法及系统， 该方法包括： 获取当前系统数据库中的预迁移数 据， 根据当前的迁移场景确定对应的第一转换处 理方式， 对所述预迁移数据进行第一转换处理， 生成中间数据； 其中， 所述中间数据为Exce  l文 件或DATA事件数据； 获取所述中间数据的数据信 息， 与目的系统数据库的数据进行逐条对比， 确 定当前系统数据库与 目的系统数据库的数据之 间的差异和映射关系； 根据所述数据之间的差异 和映射关系对所述每条中间数据进行第二转换 处理， 获得待入库数据， 并对所述待入库数据进 行入库操作。 本发明能够克服数据迁移过程中各 个系统间数据标准不统一， 表结构不一致的问 题， 支持多种场景的数据迁移。 权利要求书2页 说明书7页 附图1页 CN 115454964 A 2022.12.09 CN 115454964 A 1.一种数据迁移方法， 其特 征在于， 包括： 获取当前系统数据库中的预迁移数据， 根据当前的迁移场景确定对应的第 一转换处理 方式， 对所述预迁移数据进行第一转换处理， 生成中间数据； 其中， 所述中间数据为Excel文 件或DATA事 件数据； 获取所述中间数据的数据信息， 与目的系统数据库的数据进行逐条对比， 确定当前系 统数据库 与目的系统数据库的数据之间的差异和映射关系； 根据所述数据之间的差异和映射关系 对所述每条中间数据进行第 二转换处理， 获得待 入库数据， 并对所述待入库数据进行入库操作。 2.如权利要求1所述的一种数据迁移方法， 其特征在于， 所述根据当前的迁移场景确定 对应的第一 转换处理方式， 具体为： 若需要对当前系统数据库中的数据进行部分迁移， 则确定采用Excel模板转换处 理； 若需要对当前系统数据库中的数据进行实时迁移或大数据量迁移， 则确定采用DATA事 件数据转换处 理。 3.如权利要求2所述的一种数据迁移方法， 其特征在于， 所述对所述预迁移数据进行第 一转换处理， 生成中间数据， 具体为： 若确定采用所述Excel模板转换处理， 则将所述预迁移数据写入预设的Excel模板， 生 成对应的Excel文件作为中间数据； 若确定采用所述DATA事件数据转换处理， 则将所述预迁移数据转换成DATA事件数据作 为中间数据， 并将所述DATA事 件数据发送至Kafka。 4.如权利要求3所述的一种数据迁移方法， 其特征在于， 所述DATA事件数据， 可通过开 源框架Canal配置生成 或通过预设的程序自动生成。 5.如权利要求3所述的一种数据迁移方法， 其特征在于， 所述获取所述中间数据的数据 信息， 具体为： 若中间数据为对应的Excel文件， 则解析所述对应的Excel文件， 将文件内各行数据转 为key‑value的jso n格式， 读取jso n格式数据中包 含的数据信息； 若中间数据为DATA事件数据， 则监听kafka主题事件， 获取DATA事件数据， 解析DATA事 件数据的data字段， 读取所述data字段包含的数据信息； 其中， 所述data字段的数据信息为 key‑value形式。 6.如权利要求1所述的一种数据迁移方法， 其特征在于， 根据所述数据之间的差异和映 射关系对所述每条中间数据进行第二 转换处理， 获得待入库数据， 具体为： 若所述该条中间数据的数据信 息与目的系统数据库的数据的所有字段完全相同， 则直 接将该条中间数据作为待入库数据； 若所述该条中间数据的数据信 息与目的系统数据库的数据的所有字段完全不同， 则在 目的系统数据库中构建新表， 并将该 条中间数据作为所述 新表的待入库数据； 若所述该条中间数据的数据信 息与目的系统数据库的数据的字段部分相同， 则 筛选出 所述该条中间数据的数据信息中不同的表字段， 在目的系统数据库中构建新表， 所述新表 包含所述该条中间数据的数据信息中不同的表字段和目的系统数据库的数据已有的表字 段， 并将该 条中间数据作为所述 新表的待入库数据； 其中， 所述该 条中间数据中的各表字段的具体数据可根据预设的公式进行修改。权　利　要　求　书 1/2 页 2 CN 115454964 A 27.如权利要求1所述的一种数据迁移方法， 其特征在于， 在进行第二转换处理之前， 还 需要进行数据校验， 具体为： 获取所述中间数据的数据信息， 对所述数据信息中的指定 字段进行 校验； 若该指定 字段的数据不符合配置的检验规则， 则抛 出异常， 不进行第二 转换处理； 若该指定 字段的数据符合配置的检验规则， 则进行第二 转换处理。 8.一种数据迁移 的系统， 其特征在于， 该系统包括输入模块、 第一转换处理模块、 第二 转换处理模块、 输出模块； 所述输入 模块用于获取当前系统数据库中的预迁移数据； 所述第一转换处理模块用于根据当前的迁移场景确定对应的第 一转换处理方式， 对所 述预迁移数据进行第一转换处理， 生成中间数据； 其中， 所述中间数据为Excel文件或DATA 事件数据； 所述第二转换处理模块用于获取所述中间数据的数据信 息， 与目的系统数据库的数据 进行逐条对比， 确定当前系统数据库与目的系统数据库的数据之间的差异和映射关系， 根 据所述数据之 间的差异和映射关系对所述每条中间数据进 行第二转换 处理， 获得待入库数 据； 所述输出模块用于对所述待入库数据进行入库操作。 9.如权利要求8所述的一种数据迁移的系统， 其特征在于， 所述第 一转换处理模块用于 根据当前的迁移场景确定对应的第一转换处理方式， 对所述预迁移数据进行第一转换处 理， 生成中间数据， 具体为： 根据当前的迁移场景确定对应的第一 转换处理方式， 具体为： 若需要对当前系统数据库中的数据进行部分迁移， 则确定采用Excel模板转换处 理； 若需要对当前系统数据库中的数据进行实时迁移或大数据量迁移， 则确定采用DATA事 件数据转换处 理； 对所述预迁移数据进行第一 转换处理， 生成中间数据， 具体为： 若确定采用所述Excel模板转换处理， 则将所述预迁移数据写入预设的Excel模板， 生 成对应的Excel文件作为中间数据； 若确定采用所述DATA事件数据转换处理， 则将所述预迁移数据转换成DATA事件数据作 为中间数据， 并将所述DATA事 件数据发送至Kafka。 10.如权利要求8所述的一种数据迁移的系统， 其特征在于， 所述根据所述数据之间的 差异和映射关系对所述每条中间数据进行第二 转换处理， 获得待入库数据， 具体为： 若所述该条中间数据的数据信 息与目的系统数据库的数据的所有字段完全相同， 则直 接将该条中间数据作为待入库数据； 若所述该条中间数据的数据信 息与目的系统数据库的数据的所有字段完全不同， 则在 目的系统数据库中构建新表， 并将该 条中间数据作为所述 新表的待入库数据； 若所述该条中间数据的数据信 息与目的系统数据库的数据的字段部分相同， 则 筛选出 所述该条中间数据的数据信息中不同的表字段， 在目的系统数据库中构建新表， 所述新表 包含所述该条中间数据的数据信息中不同的表字段和目的系统数据库的数据已有的表字 段， 并将该 条中间数据作为所述 新表的待入库数据； 其中， 所述该 条中间数据中的各表字段的具体数据可根据预设的公式进行修改。权　利　要　求　书 2/2 页 3 CN 115454964 A 3