(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211013158.3 (22)申请日 2022.08.23 (71)申请人 中国民航信息网络股份有限公司 地址 100085 北京市顺 义区后沙峪镇裕民 大街7号 (72)发明人 张鹏　刘中一　何友超　李梦箫　 姚源　张杨　谷樱彬　汪新宇　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 张东梅 (51)Int.Cl. G06F 9/50(2006.01) G06F 9/48(2006.01) (54)发明名称 数据预处理性能的提升方法、 装置、 存储介 质和设备 (57)摘要 本申请公开了一种数据预处理性能的提升 方法、 装置、 存储介质和设备， 该方法为： 基于预 先获取得到的源 数据文件， 获得与各个源数据对 象对应的作业； 对各个作业进行分组， 得到多个 作业组； 将各个作业组， 分配给进程队列的各个 元素； 启动与每个元素对应的进程， 对每个元素 所拥有的作业组进行数据预处理， 得到各个作业 的目标数据对象， 以及每个作业组执行数据预处 理的处理时间； 基于各个目标数据对象， 获得多 个目标数据文件； 将各个目标数据文件， 以及每 个作业组执行数据预处理的处理时间， 保存到预 设的预处理数据库中。 该方法可实现对各个作业 的精细分组， 确保每个进程的负载均衡， 还可避 免计算资源的浪费， 从而有效提升业务系统的数 据预处理性能。 权利要求书2页 说明书15页 附图4页 CN 115373844 A 2022.11.22 CN 115373844 A 1.一种数据预处 理性能的提升方法， 其特 征在于， 包括： 基于预先获取得到的源数据文件， 获得与各个源数据对象对应的作业； 对各个所述作业进行分组， 得到多个作业组； 将各个所述作业组， 分配给进程队列的各个元素； 所述进程队列以预先配置的进程数 量作为队列长度预先构建得到， 且所述进程队列中各个所述元素， 按照所述元素 的作业量 由少到多的顺序进行排序； 所述元 素的作业 量代表所述元 素所包含的作业数量； 启动与每个所述元素对应的进程， 对每个所述元素所拥有的作业组进行数据预处理， 得到各个所述作业的目标 数据对象， 以及每 个所述作业组执 行数据预处 理的处理时间； 基于各个所述目标 数据对象， 获得多个目标 数据文件； 将各个所述目标数据文件， 以及每个所述作业组执行数据预处理的处理时间， 保存到 预设的预处 理数据库中。 2.根据权利要求1所述的方法， 其特征在于， 所述基于预先获取得到的源数据文件， 获 得与各个源数据对象对应的作业， 包括： 预先从业务系统中获取源数据文件， 并对所述源数据文件进行读取， 得到源数据； 将所述源数据的各个纪录进行内存 对象映射， 得到各个源数据对象； 创建与每 个所述源数据对象对应的作业。 3.根据权利要求1所述的方法， 其特征在于， 所述对各个所述作业进行分组， 得到多个 作业组， 包括： 对各个所述源数据对象进行关键字提取， 得到每个所述源数据对象的关键字集合； 所 述关键字集合包括一个或多个关键 字； 按照预设分组规则， 对各个所述源数据对象进行分组， 得到多个对象组； 所述预设分组 规则为： 将包 含有同一分组关键 字的多个源数据对象， 分配到同一对象组； 对于每个所述对象组， 将与所述对象组中每个源数据对象对应的作业， 分配到同一作 业组， 得到与每 个所述对象组对应的作业组。 4.根据权利要求1所述的方法， 其特征在于， 所述将各个所述作业组， 分配给进程队列 的各个元 素， 包括： 对于每个所述作业组， 在所述作业组为首次执行数据预处理的情况下， 统计所述作业 组所包含的作业数量， 得到每 个所述作业组的作业 量； 按照作业 量从多到少的顺序， 对各个所述作业组进行排序， 得到作业组序列； 为预先构建的进程队列中每 个元素设置初始作业 量； 按照预设作业量分配规则， 依次将所述作业组序列中各个作业组的作业量， 分配给所 述进程队列的各个元素， 以使所述进程队列中各个元素 的序位发生调整； 所述预设作业量 分配规则为： 按照序位由前到后的顺序， 将所述作业组序列中各个作业组的作业量， 逐次分 配给所述进程队列， 且在每次作业量分配过程中， 将分配给所述进程队列的作业量， 优先分 配给头部元素， 以使在各个所述作业组的作业量都分配结束后， 各个所述元素 的作业量之 间的差值 最小； 所述头 部元素包括序位 为所述进程队列首位的元 素； 将每个所述元 素所获得作业 量所属的作业组， 分配给每 个所述元 素。 5.根据权利要求4所述的方法， 其特征在于， 所述按照作业量从多到少的顺序， 对各个 所述作业组进行排序， 得到作业组序列之前， 还 包括：权　利　要　求　书 1/2 页 2 CN 115373844 A 2在所述作业组并非首次执行数据预处理的情况下， 从预设的预处理数据库中获取所述 作业组上一次执行数据预处理的处理时间， 并将所述处理时间标识为所述作业组的作业 量。 6.根据权利要求1所述的方法， 其特征在于， 所述启动与每个所述元素对应的进程， 对 每个所述元素所拥有的作业组进行数据预处理， 得到各个所述作业的目标数据对 象， 以及 每个所述作业组执 行数据预处 理的处理时间， 包括： 按照预设线程启动规则， 启动与每个所述元素对应的进程中的多个线程， 对每个所述 元素所获得的作业组进行数据预处理， 得到各个所述作业的目标数据对 象， 以及每个所述 作业组执行数据预处理的处理时间； 所述预设线程启动规则为： 作业量较多的作业组的线 程启动时间， 早于作业量较少的作业组的线程启动时间； 作业组的作业量代表作业组所包 含的作业数量。 7.根据权利要求1所述的方法， 其特征在于， 所述基于各个所述目标数据对象， 获得多 个目标数据文件， 包括： 将所属作业归属于同一作业组 的多个目标数据对象， 写入到与 所述同一作业组对应的 目标数据文件中。 8.一种数据预处 理性能的提升装置， 其特 征在于， 包括： 作业获取单元， 用于基于预先获取得到的源数据文件， 获得与各个源数据对象对应的 作业； 作业分组单 元， 用于对各个所述作业进行分组， 得到多个作业组； 作业分配单元， 用于将各个所述作业组， 分配给进程队列的各个元素； 所述进程队列以 预先配置的进程数量作为队列长度预先构建得到， 且所述进程队列中各个所述元素， 按照 所述元素的作业量由少到多的顺序进 行排序； 所述元素的作业量代表所述元素所包含的作 业数量； 作业处理单元， 用于启动与每个所述元素对应的进程， 对每个所述元素所拥有的作业 组进行数据预处理， 得到各个所述作业的目标数据对 象， 以及每个所述作业组执行数据预 处理的处理时间； 文件获取 单元， 用于基于各个所述目标 数据对象， 获得多个目标 数据文件； 文件保存单元， 用于将各个所述目标数据文件， 以及每个所述作业组执行数据预处理 的处理时间， 保存到预设的预处 理数据库中。 9.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质包括存储的程序， 其中， 所述 程序执行权利要求1 ‑7任一所述的数据预处 理性能的提升方法。 10.一种数据预处理性能的提升设备， 其特征在于， 包括： 处理器、 存储器和总线； 所述 处理器与所述存 储器通过 所述总线连接； 所述存储器用于存储程序， 所述处理器用于运行程序， 其中， 所述程序运行时执行权利 要求1‑7任一所述的数据预处 理性能的提升方法。权　利　要　求　书 2/2 页 3 CN 115373844 A 3