说明:收录全网最新的团体标准 提供单次或批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211081511.1 (22)申请日 2022.09.06 (71)申请人 中国科学院深圳先进技 术研究院 地址 518055 广东省深圳市南 山区深圳大 学城学苑大道1068号 申请人 澳门大学 (72)发明人 叶可江 林鹏 须成忠  (74)专利代理 机构 深圳市科进知识产权代理事 务所(普通 合伙) 44316 专利代理师 孟洁 (51)Int.Cl. G06F 9/50(2006.01) G06F 11/30(2006.01) (54)发明名称 一种多维资源在离线混部的动态调度方法 及其系统 (57)摘要 本发明涉及离线资源调度技术领域, 特别涉 及一种多维资源在离线混部的动态调度方法及 其系统; 本发明先新作业提交, 进行过滤从而筛 选出符合要求的节点, 再各节 点根据各自的干扰 健康度的取值变化, 执行动态资源调整和离线作 业重新迁徙, 然后获取每个节 点当前的资源监控 数据指标且维护监控历史数据, 继续每隔设定的 间隔时间, 获取各节点的资源监控 数据指标从而 计算得到 各节点的当前干扰健康度; 最后根据各 节点的干扰健康度进行打分, 选出得到最高分的 节点作为调度节点, 并把新作业调度至该调度节 点上; 本发明通过监控资源数据指标, 采用初始 调度后动态资源调整, 再进行重新迁移的策略来 保证混部场景 下在线作业的性能不受影响。 权利要求书2页 说明书6页 附图4页 CN 115454631 A 2022.12.09 CN 115454631 A 1.一种在离线混部的动态调度方法, 其特 征在于, 包括如下步骤: 步骤S1、 新作业 提交, 进行 过滤从而筛 选出符合要求的节点; 步骤S2、 各节点根据各自的干扰健康度的取值变化, 执行动态资源调整和离线作业重 新迁徙; 步骤S3、 获取每 个节点当前的资源监控数据指标且维护监控历史数据; 步骤S4、 每隔设定的间隔时间, 获取各节点的资源监控数据指标从而计算得到各节点 的当前干扰健康度; 步骤S5、 根据各节点的干扰健康度进行打分, 选出得到最高分的节点作为调度节点, 并 把新作业调度至该调度节点上。 2.根据权利要求1所述的一种在离线混部的动态调度方法, 其特征在于, 在步骤S2内, 每个节点上均 设有用于维护节点的干扰健康度的DeamonSet类型的Agent, 所述Agent根据 干扰健康度的取值变化 来持续执 行动态资源调整和离线作业重新迁移。 3.根据权利要求2所述的一种在离线混部的动态调度方法, 其特征在于, 所述动态资源 调整的步骤为: 步骤S201、 若检测到当前节点的干扰健康度≤5且>2, 触发离线作业资源压缩动作, 限 制该节点上的当前所有离线作业CPU使用额度同时将离线作业的CFS  Quota值调整为当前 值的一半; 步骤S202、 若检测到当前节点的干扰健康度>9, 触发离线作业资源恢复动作, 恢复该节 点上的当前 所有离线作业CPU 使用额度且将离线作业的CFS  Quota值恢复为初始值; 步骤S203、 循环执 行上述步骤S201和步骤S202, 间隔为10秒。 4.根据权利要求3所述的一种在离线混部的动态调度方法, 其特征在于, 在步骤S202 内, 所述初始值从Kubernetes的API  Server中获取。 5.根据权利要求4所述的一种在离线混部的动态调度方法, 其特征在于, 所述离线作业 重新迁徙的步骤为: 步骤S211、 若检测到当前节点的干扰健康度≤2且该节点上一次执行离线作业重新迁 移动作的时间离 当前时间之差超过2分钟, 则触发离线作业重新迁移动作, 且更新当前节 点 最近一次发生离线作业重新迁移的时间; 否则, 重新执 行步骤S21 1, 间隔为10秒; 步骤S212、 对离线作业的CPU使用率进行排序, 选出当前CPU使用率最 高的离线作业, 作 为待迁移对象; 步骤S213、 从待迁移对象的Annotation中获取该离线作业上一次被迁移的时间, 若当 前时间与上一次被迁移 时间之差大于30分钟, 则将待迁移对象去掉, 且更新待迁移对象的 Annotation, 记录最近一次被迁移的时间; 否则, 重新选择待迁移对象; 步骤S214、 由Kubernetes的Repl icaSet Controller对待迁移对象的重新拉起和调度; 步骤S215、 循环执 行步骤S21 1~步骤S214, 间隔为10秒。 6.根据权利要求5所述的一种在离线混部的动态调度方法, 其特征在于, 在步骤S3内, 资源监控数据指标包括整机CPU利用率、 整机内存使用率、 整机内存带宽使用率、 IPC、 磁盘 占用百分比。 7.根据权利要求6所述的一种在离线混部的动态调度方法, 其特征在于, 在步骤S4内, 每隔10秒获取每 个节点的资源监控数据的过去6 0秒的历史数据。权 利 要 求 书 1/2 页 2 CN 115454631 A 28.根据权利要求7所述的一种在离线混部的动态调度 方法, 其特征在于, 以过去60秒的 维护监控历史数据作为输入, 得到当前节点的干扰健康度。 9.根据权利要求8所述的一种在离线混部的动态调度方法, 其特征在于, 在步骤S4内, 将当前节点的干扰健康度推送给 各自节点的Agent更新 最新时刻的干扰健康情况。 10.一种在离线混部的动态调度系统, 其特 征在于, 包括: 提交筛选模块, 用于新作业 提交且进行 过滤从而筛 选出符合要求的节点; 执行模块, 用于各节点根据各自的干扰健康度的取值变化, 执行动态资源调整和离线 作业重新迁徙; 获取监控 模块, 用于获取每 个节点当前的资源监控数据指标且维护监控历史数据; 计算模块, 用于每隔设定的间隔时间, 获取各节点的资源监控数据指标从而计算得到 各节点的当前干扰健康度; 调度模块, 用于根据各节点的干扰健康度进行打分, 选出得到最高分的节点作为调度 节点。权 利 要 求 书 2/2 页 3 CN 115454631 A 3

.PDF文档 专利 一种多维资源在离线混部的动态调度方法及其系统

文档预览
中文文档 13 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共13页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种多维资源在离线混部的动态调度方法及其系统 第 1 页 专利 一种多维资源在离线混部的动态调度方法及其系统 第 2 页 专利 一种多维资源在离线混部的动态调度方法及其系统 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 13:09:09上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。