(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210974170.4 (22)申请日 2022.08.15 (71)申请人 平安科技 （深圳） 有限公司 地址 518000 广东省深圳市福田区福田街 道福安社区益田路5033号平 安金融中 心23楼 (72)发明人 王振兴　 (74)专利代理 机构 深圳众鼎专利商标代理事务 所(普通合伙) 44325 专利代理师 谭果林 (51)Int.Cl. G06F 9/48(2006.01) G06F 9/50(2006.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 大数据任务调度模型训练方法、 装置、 设备 及存储介质 (57)摘要 本发明涉及大数据引擎领域， 公开了一种大 数据任务调度模型训练方法、 装置、 设备及存储 介质， 其方法包括： 获取大数据任务样本数据； 通 过预处理规则处理大数据任务样 本数据， 生成模 型输入参数； 通过预设分类规则处理大数据任务 样本数据， 生成特征分类数据； 根据特征分类数 据配置多层神经网络模型的模型输出层； 获取预 配置的损失函数， 根据损失函数和模 型输入参数 对多层神经网络模型进行训练； 计算训练后的多 层神经网络模 型的准确率； 当多层神经网络模型 的准确率满足预设要求时， 将训练后的多层神经 网络模型确定为大数据任务调度模 型。 本发明可 以通过大数据任务调度模型生成的调度信息调 度大数据任务， 提高硬件资源的整体利用率， 降 低运算成本。 权利要求书2页 说明书9页 附图2页 CN 115328631 A 2022.11.11 CN 115328631 A 1.一种大 数据任务调度模型训练方法， 其特 征在于， 包括： 获取大数据任务样本数据； 通过预处理规则处理所述大数据任务样本数据， 生成多层神经网络模型的模型输入参 数； 通过预设分类规则处 理所述大 数据任务样本数据， 生成特 征分类数据； 根据所述特 征分类数据配置所述多层神经网络模型的模型输出层； 获取预配置的损失函数， 根据 所述损失函数和所述模型输入参数对所述多层神经网络 模型进行训练； 计算训练后的所述多层神经网络模型的准确率； 当所述多层神经网络模型的准确率满足预设要求 时， 将训练后的所述多层神经网络模 型确定为大数据任务调度模型， 所述大数据任务调度模型用于处理大数据任务的任务信 息， 生成所述大 数据任务的调度信息 。 2.如权利要求1所述的大数据任务调度模型训练方法， 其特征在于， 所述获取预配置的 损失函数， 根据所述损失函数和所述模型输入参数对所述多层神经网络模型进行训练， 包 括： 将所述模型输入参数输入所述多层神经网络模型， 获取所述多层神经网络模型输出的 第一输出 数据； 将所述第一输出 数据输入所述损失函数， 获得第一损失值； 根据所述第一损失值对所述多层神经网络模型的模型参数进行调节。 3.如权利要求2所述的大数据任务调度模型训练方法， 其特征在于， 所述损失函数包 括： 其中， Loss为损失值； y为所述模型输入参数的标签值； 为所述多层神经网络模型的加权值。 4.如权利要求1所述的大数据任务调度模型训练方法， 其特征在于， 所述计算训练后的 所述多层神经网络模型的准确率， 包括： 获取验证样本数据； 使用所述验证样本数据输入训练后的所述多层神经网络模型， 获得所述验证预测结 果； 根据所述验证预测结果和所述验证样本数据的真实结果确定所述 准确率。 5.如权利要求1所述的大数据任务调度模型训练方法， 其特征在于， 所述预处理规则包 括特征规范化 规则和特 征选取规则； 所述通过预处理规则处理所述大数据任务样本数据， 生成多层神经网络模型的模型输 入参数， 包括： 根据所述特征规范化规则对所述大数据任务样本数据进行特征提取， 生成规范特征集 合； 根据所述特 征选取规则对所述 规范特征集合进行特征抽取， 生成所述模型输入参数。 6.如权利要求2所述的大数据任务调度模型训练方法， 其特征在于， 所述多层神经网络权　利　要　求　书 1/2 页 2 CN 115328631 A 2模型包括若干隐藏层； 所述将所述模型输入参数输入所述多层神经网络模型， 获取所述多层神经网络模型输 出的第一输出 数据， 包括： 从所述模型输入参数提取所述 隐藏层的入参， 所述入参包括任务计划执行时间、 任务 资源消耗历史趋势、 队列使用率； 从所述模型输入参数提取所述 隐藏层的约束条件， 所述约束条件包括指标时间、 集群 资源、 任务依赖； 根据所述入参和所述约束条件确定集群整体资源消耗 量； 将所述集群整体资源消耗 量输入激励函数， 生成所述模型输出层的输入值。 7.如权利要求6所述的大数据任务调度模型训练方法， 其特征在于， 所述激励函数包 括： 其中， f(x)为所述模型输出层的输入值； x为所述集群整体资源消耗 量。 8.一种大 数据任务调度模型训练装置， 其特 征在于， 包括： 获取样本模块， 用于获取 大数据任务样本数据； 预处理模块， 用于通过预处理规则处理所述大数据任务样本数据， 生成多层神经网络 模型的模型输入参数； 通过预设分类规则处理所述大数据任务样本数据， 生成特征分类数 据； 输出层设置模块， 用于根据 所述特征分类数据配置所述多层神经网络模型的模型输出 层； 模型训练模块， 用于获取预配置的损 失函数， 根据所述损 失函数和所述模型输入参数 对所述多层神经网络模型进行训练； 准确率计算模块， 用于计算训练后的所述多层神经网络模型的准确率； 生成模型模块， 用于当所述多层神经网络模型的准确率满足预设要求时， 将训练后的 所述多层神经网络模型确定为大数据任务调 度模型， 所述大数据任务调 度模型用于处理大 数据任务的任务信息， 生成所述大 数据任务的调度信息 。 9.一种计算机设备， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器 上运行的计算机可读指令， 其特征在于， 所述处理器执行所述计算机可读指令时实现如权 利要求1至7中任一项所述大 数据任务调度模型训练方法。 10.一个或多个存储有计算机可读指令的可读存储介质， 所述计算机可读指令被一个 或多个处理器执行时， 使得所述一个或多个处理器执行如权利要求 1至7中任一项 所述大数 据任务调度模型训练方法。权　利　要　求　书 2/2 页 3 CN 115328631 A 3