(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211204899.X (22)申请日 2022.09.30 (71)申请人 苏州速显微电子科技有限公司 地址 215222 江苏省苏州市吴江经济技 术 开发区联杨路139号清华汽车产业园 一号楼三楼 (72)发明人 徐瑞　项天　 (74)专利代理 机构 苏州市中南伟业知识产权代 理事务所(普通 合伙) 32257 专利代理师 王广浩 (51)Int.Cl. G06F 9/50(2006.01) G06N 3/04(2006.01) G06N 3/063(2006.01) G06F 9/445(2018.01) (54)发明名称 移动端CN N的CPU、 GPU、 NPU统一调度方法 (57)摘要 本发明公开了一种移动端CNN的CPU、 GPU、 NPU统一调度方法， 本发明移动端CNN的CP U、 GPU、 NPU统一调度方法可实现在移动设备的SoC芯片 中， 在命令解析调度器的控制下， 利用统一的指 令来调度CP U、 GPU、 NPU。 本发明通过对CPU的命令 解析和调度任务进行卸载， 实现CNN到命令转换 过程与CPU上运行程序的解耦， 提高命令响应速 度。 权利要求书2页 说明书6页 附图2页 CN 115292053 A 2022.11.04 CN 115292053 A 1.移动端CN N的CPU、 GPU、 NPU统一调度方法， 其特 征在于， 包括以下步骤： S1、 将CPU、 GPU、 内存分别连接到总线， 将命令解析调度器和NPU本地连接并共享总线， 通过命令 接口将所述命令解析调度器与GPU连接； S2、 CPU解析神经网络镜像， 并根据软件算子注册段的配置为每个软件算子槽注册软件 算子函数； S3、 CPU为命令解析调度器 配置命令队列起始地址并启动命令解析调度器； S4、 所述命令解析调度器将命令队列的一部分读取到自身的命令缓存中； S5、 所述命令解析调度器对命令缓存中的命令队列进行解析， 得到命令的类型； 如果类 型为NPU命令， 则通过本地连接将解析得到的命令参数发送给NPU； 如果类型为软件算子， 则 向CPU发送中断信号， 并将解析得到的命令参数发送到寄存器接口等待CPU获取； 如果类型 为GPU命令， 则通过命令 接口向GPU发送解析 得到的命令类型和命令参数； S6、 NPU接收到NPU命令后， 从命令中获取权重， 并从命令参数指定的内存或片上缓存地 址读取计算数据， 完成相应硬件算子计算， 并将计算结果发送到命令参数指定的内存或片 上缓存地址； CPU接收到软件算子中断信号后， 首先通过总线从所述命令解析调度器的寄存 器接口获取命令类型和命令参数， 从命令参数指定的内存或片上缓存地址获取权重、 目标 参数以及计算数据， 完成相 应软件算子计算， 并将计算结果发送到命令参数指定的内存或 片上缓存； GPU接收到GPU命令后， 从命令参数指定的内存或片上缓存地址获取 目标参数和 计算数据， 完成相应 GPU算子计算， 并将 计算结果 发送到命令参数指 定的内存或片上缓存地 址； S7、 NPU完成当前硬件算子计算后， 通过本地连接向所述命令解析调度器发送完成信 号； CPU完成当前软件算子计算后， 通过寄存器接口向命令解析调度器发送完成信号； GPU完 成当前GPU算子计算后， 通过命令 接口向命令解析调度器发送完成信号； S8、 重复步骤S4 ‑S7， 直到所述命令解析调度器解析到结束命令， 命令解析调度器返回 空闲状态。 2.如权利要求1所述的移动端CNN的CPU、 GPU、 NPU统一调度方法， 其特征在于， 步骤S1之 前还包括以下步骤： 将卷积神经网络各项计算任务转换为神经算子， 并将神经算子分为三类， 可由NPU进行 加速运算的为硬件算子； 可由GPU运算的为GPU算子； 不适合NPU和GPU计算的， 由CPU进行计 算， 为软件算子 。 3.如权利要求1所述的移动端CNN的CPU、 GPU、 NPU统一调度方法， 其特征在于， 所述神经 网络镜像包括镜像头、 软件算子注 册段、 软件算子参数 段、 命令队列。 4.如权利要求3所述的移动端CNN的CPU、 GPU、 NPU统一调度方法， 其特征在于， 所述镜像 头中包含软件算子注册段、 软件算子参数段、 命令队列三个部分的长度和起始偏移地址信 息； 所述软件算子注册段包含需要注册的软件算子函数及其要被注册于哪一个软件算子槽 的信息； 软件算子参数段包含软件算子计算所需要的参数； 所述命令队列包含了软件算子 命令、 GPU命令和硬件算子命令 。 5.如权利要求1所述的移动端CNN的CPU、 GPU、 NPU统一调度方法， 其特征在于， 所述片上 缓存包括命令缓存和数据缓存， 所述数据缓存连接 到总线或内嵌到 CPU、 GPU、 NPU中。 6.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算权　利　要　求　书 1/2 页 2 CN 115292053 A 2机程序， 其特征在于， 所述处理器执行所述程序时实现权利要求 1‑5中任意一项 所述方法的 步骤。 7.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执 行时实现权利要求1 ‑5任意一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115292053 A 3