(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210924364.3 (22)申请日 2022.08.03 (71)申请人 杭州远眺科技有限公司 地址 310012 浙江省杭州市余杭区仓前街 道文一西路1326号1号楼7层701-1室 (72)发明人 夏莹杰　陈天祥　 (74)专利代理 机构 宁波甬致专利代理有限公司 33228 专利代理师 黄江 (51)Int.Cl. G06F 9/48(2006.01) G06F 9/50(2006.01) G06F 17/16(2006.01) G06N 3/04(2006.01) (54)发明名称 大数据作业调度控制方法、 系统和可读存储 介质 (57)摘要 本发明公开的一种大数据作业调度控制方 法、 系统和可读存储介质， 其中方法包括： 获取大 数据作业数据， 并基于所述大数据作业数据构建 邻接矩阵和第一特征矩阵， 基于所述第一特征矩 阵获取任务节 点的特征向量； 利用卷积神经网络 获取目标函数， 以基于所述目标函数对所述大数 据作业数据进行处理， 获取所述任务节点对应的 第二特征矩阵； 构建第三特征矩阵， 以获取所述 第三特征矩 阵中某个任务节点对应的任务实例 在任务执行器上的平均数据传输时间， 基于所述 平均数据传输时间完成作业调度控制。 本发明使 得同一节点部署在不同的执行器上运行的传输 开销各不相同， 扩充了各个节点的特征维度， 更 充分地考虑了数据本地性， 进一步提升了后续调 度操作的有效性。 权利要求书3页 说明书14页 附图2页 CN 114995986 A 2022.09.02 CN 114995986 A 1.一种大 数据作业调度控制方法， 其特 征在于， 包括以下步骤： 获取大数据作业数据， 并基于所述大数据作业数据构建邻接矩阵和第一特征矩阵， 基 于所述第一特 征矩阵获取任务节点的特 征向量； 利用预设卷积神经网络获取目标函数， 以基于所述目标函数对所述大数据作业数据进 行处理， 并基于处 理结果获取 所述任务节点对应的第二特 征矩阵； 基于所述大数据作业数据的处理结果构建第 三特征矩阵， 以获取所述第 三特征矩阵中 某个任务节点对应的任务 实例在任务执行器上的平均数据传输时间， 基于所述平均数据传 输时间完成作业调度控制。 2.根据权利要求1所述的一种大数据作业调度控制方法， 其特征在于， 所述获取大数据 作业数据， 并基于所述大数据作业数据构建邻接矩阵和第一特征矩阵， 基于所述第一特征 矩阵获取任务节点的特 征向量， 具体包括： 对被调度的所述大数据作业数据中每一个作业构建对应的所述邻接矩阵， 其中， 所述 邻接矩阵为有向图邻接矩阵； 对被调度的所述大数据作业数据中每一个作业构建对应的所述第一特征矩阵， 其中， 所述第一特征矩阵中每个所述任务节点对应的所述特征向量包括： 任务节点中每个任务 实 例的执行时间； 任务节点的总任务实例数； 任务节点的剩余任务实例数； 任务节点的优先 级； 任务节点的每个任务实例对于CPU核数的要求以及任务节点的每个任务实例对于内存 大小的要求。 3.根据权利要求2所述的一种大数据作业调度控制方法， 其特征在于， 所述利用预设卷 积神经网络获取目标函数， 以基于所述 目标函数对所述大数据作业数据进行处理， 并基于 处理结果获取 所述任务节点对应的第二特 征矩阵， 具体包括： 基于图卷积神经网络得到第一函数以及第二函数， 其中， 所述第一函数与所述第二函 数均为非线性 函数， 且包括两个隐藏层； 所述第一函数对应的隐藏层的神经元数量为十六个， 所述第 二函数对应的隐藏层的神 经元数量为八个； 利用所述第 一函数以及所述第 二函数对所述大数据作业数据进行处理， 得到节点级别 特征向量、 作业级别特 征向量以及全局级别特 征向量， 进 而得到对应的所述第二特 征矩阵。 4.根据权利要求3所述的一种大数据作业调度控制方法， 其特征在于， 所述基于处理结 果获取所述任务节点对应的第二特 征矩阵， 具体包括： 基于所述处 理结果得到不同所述任务节点对应的所述第二特 征矩阵， 其中， 基于所述节点级别特 征向量作为矩阵行向量得到对应的节点级别特 征矩阵； 基于所述作业级别特 征向量作为矩阵行向量得到对应的作业级别特 征矩阵； 基于所述全局级别特 征向量作为矩阵行向量得到对应的全局级别特 征矩阵。 5.根据权利要求4所述的一种大数据作业调度控制方法， 其特征在于， 所述节点级别特 征向量表示当前节点与其邻接节点的特征信息； 所述作业级别特征向量表示作业中所有任 务节点之 间的全局关系； 所述全局级别特征向量表示待调 度的作业集合中所有作业之 间的 全局关系。 6.根据权利要求4所述的一种大数据作业调度控制方法， 其特征在于， 所述基于所述大 数据作业数据的处理结果构建第三特征矩阵， 以获取所述第三特征矩阵中某个任务节点对权　利　要　求　书 1/3 页 2 CN 114995986 A 2应的任务 实例在任务执行器上的平均数据传输时间， 基于所述平均数据传输时间完成作业 调度控制， 具体包括： 基于所述节点级别特征向量识别所述任务节点， 进而结合对应的所述任务执行器构建 所述第三特征矩阵以表示所述任务节点剩余的任务实例在所述任务执行器上执行的所述 平均数据传输时间， 其中， 计算所述任务节点的单个任务实例从父任务节点的某个任务实例所获取的平均数据 量； 计算任务节点中单个任务实例的传输时间； 基于所述平均 数据量以及所述传输时间计算乘积之和， 进而得到所述任务节点针对所 有父任务节点的平均数据传输时间。 7.一种大数据作业调度控制系统， 其特征在于， 包括存储器和处理器， 所述存储器 中包 括大数据作业调 度控制方法程序， 所述大数据作业调度控制方法程序被所述处理器执行时 实现如下步骤： 获取大数据作业数据， 并基于所述大数据作业数据构建邻接矩阵和第一特征矩阵， 基 于所述第一特 征矩阵获取任务节点的特 征向量； 利用预设卷积神经网络获取目标函数， 以基于所述目标函数对所述大数据作业数据进 行处理， 并基于处 理结果获取 所述任务节点对应的第二特 征矩阵； 基于所述大数据作业数据的处理结果构建第 三特征矩阵， 以获取所述第 三特征矩阵中 某个任务节点对应的任务 实例在任务执行器上的平均数据传输时间， 基于所述平均数据传 输时间完成作业调度控制。 8.根据权利要求7所述的一种大数据作业调度控制系统， 其特征在于， 所述获取大数据 作业数据， 并基于所述大数据作业数据构建邻接矩阵和第一特征矩阵， 基于所述第一特征 矩阵获取任务节点的特 征向量， 具体包括： 对被调度的所述大数据作业数据中每一个作业构建对应的所述邻接矩阵， 其中， 所述 邻接矩阵为有向图邻接矩阵； 对被调度的所述大数据作业数据中每一个作业构建对应的所述第一特征矩阵， 其中， 所述第一特征矩阵中每个所述任务节点对应的所述特征向量包括： 任务节点中每个任务 实 例的执行时间； 任务节点的总任务实例数； 任务节点的剩余任务实例数； 任务节点的优先 级； 任务节点的每个任务实例对于CPU核数的要求以及任务节点的每个任务实例对于内存 大小的要求。 9.根据权利要求8所述的一种大数据作业调度控制系统， 其特征在于， 所述利用预设卷 积神经网络获取目标函数， 以基于所述 目标函数对所述大数据作业数据进行处理， 并基于 处理结果获取 所述任务节点对应的第二特 征矩阵， 具体包括： 基于图卷积神经网络得到第一函数以及第二函数， 其中， 所述第一函数与所述第二函 数均为非线性 函数， 且包括两个隐藏层； 所述第一函数对应的隐藏层的神经元数量为十六个， 所述第 二函数对应的隐藏层的神 经元数量为八个； 利用所述第 一函数以及所述第 二函数对所述大数据作业数据进行处理， 得到节点级别 特征向量、 作业级别特 征向量以及全局级别特 征向量， 进 而得到对应的所述第二特 征矩阵。权　利　要　求　书 2/3 页 3 CN 114995986 A 3