(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211138733.2 (22)申请日 2022.09.19 (71)申请人 浙江大华 技术股份有限公司 地址 310051 浙江省杭州市滨江区滨安路 1187号 (72)发明人 黄鹏　吴立　殷俊　岑鑫　虞响　 陈波扬　 (74)专利代理 机构 深圳市威世博知识产权代理 事务所(普通 合伙) 44280 专利代理师 严翠霞 (51)Int.Cl. G06F 9/50(2006.01) G06F 9/48(2006.01) G06N 3/04(2006.01) (54)发明名称 资源调度方法及相关装置、 图形处理器、 摄 像器件和介质 (57)摘要 本申请公开了一种资源调度方法及相关装 置、 图形处理器、 摄像器件和介质， 其中， 资源调 度方法包括： 响应于GP U任务池中待调度GPU任务 的调出请求， 检测GPU资源池中各个GPU 流分别是 否空闲； 其中， 待调度GPU任务需提交至空闲的 GPU流处理； 基于GPU资源池中各个GPU流均不空 闲， 统计GPU资源池中GPU流的总数量； 基于总数 量与图形处理器的最大并发运行数量， 确定待调 度GPU任务的调度策略； 其中， 调度策略包括以下 任一者： 为待调度GPU任 务在GPU资源池创建新的 GPU流， 等待GP U资源池出现空闲的GP U流。 上述方 案， 能够提升GP U资源调度的有效性和可靠性， 以 提高GPU资源的利用率， 从而最终提高数据处理 效率。 权利要求书2页 说明书12页 附图4页 CN 115220921 A 2022.10.21 CN 115220921 A 1.一种资源调度方法， 其特 征在于， 包括： 响应于GPU任务池中待调度GPU任务的调出请求， 检测GPU资源池中各个GPU流分别是否 空闲； 其中， 所述待调度GPU任务需提交至空 闲的GPU流处 理； 基于所述GPU资源池中各个所述GPU流均不空闲， 统计所述GPU资源池中所述GPU流的总 数量； 基于所述总数量与图形处理器的最大并发运行数量， 确定所述待调度GPU任务的调度 策略； 其中， 所述调度策略包括以下任一者： 为所述待调度GPU任务在所述GPU资源池创建新 的GPU流， 等待所述GPU资源 池出现空 闲的GPU流。 2.根据权利要求1所述的方法， 其特征在于， 所述调度策略基于所述总数量是否低于所 述最大并发运行 数量的预设倍数来确定 。 3.根据权利要求1或2所述的方法， 其特征在于， 所述基于所述总数量与图形处理器的 最大并发运行 数量， 确定所述待调度GPU任务的调度策略， 包括以下至少一 者： 响应于所述总数量不低于所述最大并发运行数量的预设倍数， 确定所述调度策略包 括： 等待所述GPU资源 池出现空 闲的GPU流； 响应于所述总数量低于所述最大并发运行数量的预设倍数， 确定所述调度策略包括： 为所述待调度GPU任务在所述GPU资源 池创建新的GPU流。 4.根据权利要求1所述的方法， 其特 征在于， 所述方法还 还包括： 基于所述GPU资源池中至少一个所述GPU流空闲， 将所述待调度GPU任务提交至所述GPU 资源池中任一空 闲的GPU流。 5.根据权利要求1所述的方法， 其特征在于， 所述GPU任务池用于存储算法方案中各个 算子分别提交的待调度任务集合， 所述算法方案中所述各个算子按照预设顺序排列， 所述 各个算子分别提交的待调度任务集合在所述GPU任务池中按照所述预设顺序排列， 且所述 GPU任务池按照先入先 出的原则调出任务。 6.根据权利要求1或5所述的方法， 其特征在于， 所述图形处理器包括GPU管理器， 所述 GPU管理器维护有所述GPU任务池和所述GPU资源 池。 7.根据权利要求1或5所述的方法， 其特 征在于， 所述方法还 包括： 响应于新获取到图像数据， 基于为处理所述图像数据而预先部署的算法方案中的算子 和在GPU内存中预先存储的算子任务映射集， 生成所述算子的待调度任务集合； 其中， 所述 算子任务映射集包括： 各个算子 分别对应的GPU任务集， 且 所述待调度任务集合包括至少一 个所述待调度GPU任务； 将所述算子的待调度任务 集合， 提交至所述GPU任务池。 8.根据权利要求7 所述的方法， 其特 征在于， 所述 算子任务映射 集的获取步骤 包括： 对所述算子进行图转换， 得到表征所述算子处理过程的流水图； 其中， 所述流水图包括 顺序连接的若干运 算层； 为所述若干运算层分别分配GPU内核函数， 得到所述算子对应的GPU任务集； 其 中， 所述 算子对应的GPU任务 集在所述GPU内存中分配有存 储空间。 9.根据权利要求7所述的方法， 其特征在于， 在所述基于为处理所述图像数据而预先部 署的算法方案中的算子和在GPU内存中预先存储的算子任务映射集， 生成所述算子的待调 度任务集合之前， 所述方法还 包括：权　利　要　求　书 1/2 页 2 CN 115220921 A 2检测所述 算法方案中的算子是否首次使用； 若是， 则为首次使用的算子创建对应的GPU任务集， 并基于新创建的GPU任务集更新所 述算子任务映射 集。 10.一种资源调度装置， 其特 征在于， 检测模块， 用于响应于GPU任务池中待调度GPU任务的调出请求， 检测GPU资源池中各个 GPU流分别是否空 闲； 其中， 所述待调度GPU任务需提交至空 闲的GPU流处 理； 统计模块， 用于基于所述GPU资源池中各个所述GPU流均 不空闲， 统计所述GPU资源池中 所述GPU流的总数量； 确定模块， 用于基于所述总数量与图形处理器的最大并发运行数量， 确定所述待调度 GPU任务的调度策略； 其中， 所述调度策略包括以下任一者： 为所述待调度GPU任务在所述 GPU资源池创建新的GPU流， 等待所述GPU资源 池出现空 闲的GPU流。 11.一种图形处理器， 其特征在于， 包括GPU控制器、 GPU管理器、 GPU内存和若干GPU核， 所述GPU管理器维护有GPU任务池和GPU资源池， 所述GPU控制器用于执行程序指 令以实现权 利要求1至9任一项所述的资源调度方法。 12.一种摄像器件， 其特征在于， 包括相互耦接的摄像头和如权利要求11所述的图形处 理器， 所述摄像头用于拍摄图像数据， 所述图形 处理器用于对 所述图像数据进 行任务生 成、 调度及处 理。 13.一种计算机可读存储介质， 其特征在于， 存储有能够被处理器运行的程序指令， 所 述程序指令用于实现权利要求1至9任一项所述的资源调度方法。权　利　要　求　书 2/2 页 3 CN 115220921 A 3