(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202111683501.0
(22)申请日 2021.12.31
(71)申请人 广州文远知行 科技有限公司
地址 510000 广东省广州市广州中新广州
知识城九佛建 设路333号自编687室
(72)发明人 黎伟杰 彭绍东 陈飞 韩旭
(74)专利代理 机构 广州三环 专利商标代理有限
公司 44202
专利代理师 陈志明
(51)Int.Cl.
G06F 9/48(2006.01)
G06F 9/50(2006.01)
(54)发明名称
一种资源调度方法、 装置、 设备及存 储介质
(57)摘要
本发明涉及了一种资源调度方法、 装置、 设
备及存储介质, 该方法包括: S1: 从资源请求队列
中获取待调度的第一资源请求, 并获取执行第一
资源请求对应的第一任务所需的第一资源量;
S2: 获取用于执行资源请求队列中的任务的节点
集合, 并获取节点集合中各个节点的资源快照,
S3: 根据第一资源量和资源快照, 确定可最早执
行第一任务的第一节点; S4: 将第一节点从节点
集合中移除; 按照S1 ‑S4的方法处理资源请求队
列中的下一个资源请求, 直到资源请求队列为
空。 在上述方法给当前优先级最高的第一任务保
留了第一节 点的资源量, 并且可以将剩余的资源
分配给其他 资源请求, 从而满足了不同优先级任
务的资源请求, 提高了整体的资源利用率和调度
效率。
权利要求书3页 说明书12页 附图3页
CN 114518945 A
2022.05.20
CN 114518945 A
1.一种资源调度方法, 其特 征在于, 所述方法包括:
S1: 从资源请求队列中获取待调度的第一资源请求, 并获取执行所述第一资源请求对
应的第一任务所需的第一资源量; 所述第一任务为所述资源请求队列中当前优先级最高的
任务;
S2: 获取用于执行所述资源请求队列中的任务的节点集合, 并获取所述节点集合中各
个节点的资源快照, 所述资源快照包括所述节点的可用资源量和所述节点的当前任务的预
估运行时间;
S3: 根据所述第一资源量和所述资源快照, 确定可最 早执行所述第一任务的第一节点;
S4: 将所述第一节点从所述节点 集合中移除;
S5: 按照S1 ‑S4的方法处理所述资源请求队列中的下一个资源请求, 直到所述资源请求
队列为空。
2.根据权利要求1所述的方法, 其特 征在于, 步骤S3包括:
S31: 根据 所述第一资源量、 所述节点的可用资源量和所述节点的当前任务的预估运行
时间, 确定可在当前时刻执 行所述第一任务的节点, 得到第一 候选节点 集合;
S32: 若所述第一候选节点集合中包括多个第一候选节点, 则按照预设评价参数确定所
述多个第一 候选节点的评分;
S33: 选取所述评分最高的节点作为第一节点;
S34: 若所述第一候选节点集合为空, 则确定在所述当前时刻以后可最早执行所述第一
任务的节点, 并将所述节点作为第一节点。
3.根据权利要求2所述的方法, 其特征在于, 所述预设评价参数包括所述第 一候选节点
的网络拓扑情况和资源健康情况, 以及所述第一候选节点执行所述第一任务后的空闲资源
情况。
4.根据权利要求2所述的方法, 其特 征在于, 步骤S34包括:
S341: 对所述节点包括的当前任务按照所述预估运行时间的升序进行排序, 得到所述
节点对应的目标任务队列;
S342: 从所述目标任务队列中的第一个任务开始, 确定各个任务执行完成后释放的可
用资源量;
S343: 计算所述释放的可用资源量和所述节点的可用资源量的和, 得到各个任务执行
完成后所述节点的总可用资源量;
S344: 根据所述各个任务执行完成后对应的可用资源量和所述第一资源量, 确定所述
节点可最 早执行所述第一任务的目标时刻;
S345: 根据各个节点对应的所述目标时刻, 确定可最早执行所述第一任务的节点, 得到
第一节点。
5.根据权利要求1所述的方法, 其特征在于, 所述步骤S2中的当前任务的预估运行时间
通过以下步骤S21 ‑步骤S22得到:
S21、 获取所述当前任务的特征信息; 所述特征信息包括所述当前任务的任务类型、 任
务名称、 所述任务的关联 人、 所述任务占用资源量、 所述任务的执 行命令;
S22、 将所述特征信息输入预先训练的目标预测模型, 得到所述当前任务的预估运行时
间。权 利 要 求 书 1/3 页
2
CN 114518945 A
26.根据权利要求5所述的方法, 其特征在于, 所述步骤S22中的目标预测模型通过以下
步骤S221‑步骤S223训练得到:
S221、 获取样本数据, 所述样本数据包括执行完毕的历史任务的所述特征信息, 以及所
述历史任务的真实运行时间;
S222、 将所述历史任务的特征信息输入初始模型, 得到所述初始模型输出的预测运行
时间;
S223、 根据所述预测运行时间和所述真实运行时间之间的差值调整所述初始模型的参
数, 并继续训练所述初始模型, 直到所述差值小于预设阈值时, 结束所述训练, 得到目标预
测模型。
7.根据权利要求6所述的方法, 其特征在于, 当所述步骤S221中的历史任务为深度 学习
任务时, 所述历史任务的特征信息还包括: 用于执行所述深度学习任务的模型的特征、 所述
模型的训练步数、 平均每一 步耗时。
8.一种资源调度装置, 其特 征在于, 所述装置包括:
第一获取模块, 用于从资源请求队列中获取待调度的第一资源请求, 并获取执行所述
第一资源请求对应的第一任务所需的第一资源量; 所述第一任务为所述资源请求队列中当
前优先级最高的任务;
第二获取模块, 用于获取用于执行所述资源请求队列中的任务的节点集合, 并获取所
述节点集合中各个节 点的资源快照, 所述资源快照包括所述节点的可用资源量和所述节点
的当前任务的预估运行时间;
第一确定模块, 用于根据所述第一资源量和所述资源快照, 确定可最早执行所述第一
任务的第一节点;
移除模块, 用于将所述第一节点从所述节点 集合中移除;
处理模块, 用于使用所述第 一获取模块、 所述第 二获取模块、 所述第 一确定模块和所述
移除模块, 处 理所述资源请求队列中的下一个资源请求, 直到所述资源请求队列为空。
9.根据权利要求8所述的装置, 其特 征在于, 所述第一确定模块进一 步用于:
根据所述第一资源量、 所述节点的可用资源量和所述节点的当前任务的预估运行时
间, 确定可在当前时刻执 行所述第一任务的节点, 得到第一 候选节点 集合;
若所述第一候选节点集合中包括多个第 一候选节点, 则按照预设评价参数确定所述多
个第一候选节点的评分;
选取所述评分最高的节点作为第一节点;
若所述第一候选节点集合为空, 则确定在所述当前时刻以后可最早执行所述第 一任务
的节点, 并将所述节点作为第一节点。
10.根据权利要求9所述的装置, 其特征在于, 所述预设评价参数包括所述第一候选节
点的网络拓扑情况和资源健康情况, 以及所述第一候选节点执行所述第一任务后的空闲资
源情况。
11.根据权利要求9所述的装置, 其特 征在于, 所述第一确定模块进一 步用于:
对所述节点包括的当前任务按照所述预估运行时间的升序进行排序, 得到所述节点对
应的目标任务队列;
从所述目标任务队列中的第 一个任务开始, 确定各个任务执行完成后释放的可用资源权 利 要 求 书 2/3 页
3
CN 114518945 A
3
专利 一种资源调度方法、装置、设备及存储介质
文档预览
中文文档
19 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共19页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 人生无常 于 2024-03-19 02:00:54上传分享