(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210106082.2 (22)申请日 2022.01.28 (71)申请人 中国工商银行股份有限公司 地址 100140 北京市西城区复兴门内大街 55号 (72)发明人 王之乐　 (74)专利代理 机构 北京同立钧成知识产权代理 有限公司 1 1205 专利代理师 杨贝贝　臧建明 (51)Int.Cl. G06F 16/25(2019.01) G06F 16/23(2019.01) G06F 9/48(2006.01) G06F 9/445(2018.01) (54)发明名称 一种数据导入方法和装置 (57)摘要 本申请提供了一种数据导入方法和装置， 涉 及大数据领域， 该方法包括： 将目标数据导入目 标地址， 该目标数据包括至少一个主键对应的数 据， 每个主键对应一条或多条数据； 在目标数据 中的第一数据导入失败的情况下， 将第一数据和 第一主键对应的数据中位于第一数据之后的数 据写入预设地址， 该预设地址不同于目标地址， 第一主键为第一数据对应的主键； 在目标数据导 入结束后， 将预设地址中的数据导入目标地址。 通过将第一数据和第一数据之后的数据进行重 导， 可以避免目标地址中数据的顺序与源数据的 顺序不一致的问题， 另外， 在第一数据导入失败 的情况下， 无需全部重新导入目标数据， 有利于 减小开销， 提升导入效率。 权利要求书2页 说明书13页 附图5页 CN 114490855 A 2022.05.13 CN 114490855 A 1.一种数据导入方法， 其特 征在于， 包括： 将目标数据导入目标地址， 所述目标数据包括至少一个主键对应的数据， 每个主键对 应一条或多条 数据； 在所述目标数据中的第 一数据导入失败的情况下， 将第 一数据和第 一主键对应的数据 中位于所述第一数据之后的数据写入预设地址， 所述预设地址不同于所述 目标地址， 所述 第一主键为所述第一数据对应的主键； 在所述目标 数据导入结束后， 将所述预设地址中的数据导入所述目标地址 。 2.如权利要求1所述的方法， 其特 征在于， 所述将目标 数据导入目标地址， 包括： 从源地址读取 所述目标 数据； 基于导入配置文件， 对所述目标数据进行处理， 得到处理后的目标数据； 其中， 所述导 入配置文件用于定义对所述目标数据进行 处理的规则， 所述导入配置文件 是基于预定义的 导入配置语法生成的； 将所述处 理后的目标 数据写入所述目标地址 。 3.如权利要求2所述的方法， 其特征在于， 所述导入配置语法包括用于定义如下一项或 多项参数的语法： 编码 类型、 表名、 字段之间的分 隔符号、 字段名称和字段类型、 特殊字符处 理格式、 可 添加的字段、 以及允许并行的线程数量。 4.如权利要求2所述的方法， 其特征在于， 在从源地址读取所述目标数据之前， 所述方 法还包括： 响应于用户操作， 获取 所述导入配置文件的地址、 所述源地址和所述目标地址 。 5.如权利要求2所述的方法， 其特 征在于， 所述方法还 包括： 在基于所述导入配置文件， 对所述目标数据中的第二数据进行处理之后， 确定所述第 二数据对应的第二主键和所述第一主键是否相同； 以及 在所述第一数据导入失败的情况下， 将所述第 一数据和第 一主键对应的数据中位于所 述第一数据之后的数据写入预设地址， 包括： 在所述第二数据对应的第 二主键为所述第 一主键的情况下， 将处理后的第 二数据写入 所述预设地址 。 6.如权利要求2至 5中任一项所述的方法， 其特 征在于， 所述方法还 包括： 为所述目标数据创建一个读线程、 至少一个处理线程、 以及至少一个写线程， 所述处理 线程用于基于所述导入配置文件对所述目标数据进行 处理， 所述写线程用于将处理后的目 标数据写入所述目标地址 。 7.如权利要求6所述的方法， 其特征在于， 同一主键的数据对应同一处理线程， 同一处 理线程的数据对应同一写 线程。 8.如权利要求6所述的方法， 其特 征在于， 所述方法还 包括： 所述至少一个处理线程中每个处理线程处理 的数据的数量达到预设门限的情况下， 记 录已处理数据的位置偏移信息， 所述已处理数据的位置偏移信息用于指示所述每个处理线 程本次处 理完成的数据中最后一条 数据在所述目标 数据中的排序。 9.如权利要求8所述的方法， 其特 征在于， 所述方法还 包括： 在对所述目标数据的处理中断的情况下， 将所述至少一个处理线程中每个线程最近一 次记录的已处 理数据的位置偏移信息的最小值作为 起始位置， 继续 导入所述目标 数据。权　利　要　求　书 1/2 页 2 CN 114490855 A 210.一种数据导入 装置， 其特 征在于， 包括： 第一处理单元， 用于将目标数据导入目标地址， 所述目标数据包括至少一个主键对应 的数据， 每 个主键对应一条或多条 数据； 第二处理单元， 用于在所述目标数据中的第一数据导入失败的情况下， 将第一数据和 第一主键对应的数据中位于所述第一数据之后的数据写入预设地址， 所述预设地址不同于 所述目标地址， 所述第一主键为所述第一数据对应的主键； 所述第一处理单元还用于在所述目标数据导入结束后， 将所述预设地址 中的数据导入 所述目标地址 。 11.一种数据导入装置， 其特征在于， 包括处理器， 所述处理器执行计算机执行指令， 以 实现如权利要求1至9中任一项所述的方法。 12.一种计算机可读存储介质， 其特征在于， 包括计算机程序， 当所述计算机程序在计 算机上运行时， 使得 所述计算机执 行如权利要求1至9中任一项所述的方法。 13.一种计算机程序产品， 其特征在于， 包括计算机程序， 当所述计算机程序被运行时， 使得计算机执 行如权利要求1至9中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114490855 A 3