(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210969193.6 (22)申请日 2022.08.12 (71)申请人 吉林大学 地址 130000 吉林省长 春市前进大街269 9 号 (72)发明人 阎凯歌　宋艳爽　谭婧炜佳 　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 耿苑 (51)Int.Cl. G06F 9/48(2006.01) G06F 9/50(2006.01) G06N 3/04(2006.01) G06N 3/063(2006.01) (54)发明名称 卷积神经网络的任务调度方法、 系统、 设备 及存储介质 (57)摘要 本申请公开了一种卷积神经网络的任务调 度方法、 系统、 设备及存储介质， 所属的技术领域 为机器学习技术领域。 卷积神经网络的任务调度 方法， 包括： 接收待处理图像， 并确定所述待处理 图像对应的网络任务； 根据所述卷积神经网络所 在脉动阵列的数据流方式构建性能模 型； 利用所 述性能模型计算所述脉动阵列中每一加速器处 理每一所述网络任务的时延信息， 根据所述时延 信息将所有所述网络任务分配至对应的加速器， 以便得到所述卷积神经网络对所述待处理图像 的图像处理结果。 本申请能够降低卷积神经网络 的对网络任务的响应时间， 提高图像处 理效率。 权利要求书2页 说明书14页 附图3页 CN 115202848 A 2022.10.18 CN 115202848 A 1.一种卷积神经网络的任务调度方法， 其特 征在于， 包括： 接收待处 理图像， 并确定所述待处 理图像对应的网络任务； 根据所述卷积神经网络所在脉动阵列的数据流方式构建性能模型； 其中， 所述数据流 方式为权 重固定数据流、 输入固定数据流或输出固定数据流； 利用所述性能模型计算所述脉动阵列中每一加速器处理每一所述网络任务的时延信 息， 根据所述时延信息将所有所述网络任务分配至对应的加速器， 以便得到所述卷积神经 网络对所述待处 理图像的图像处 理结果。 2.根据权利要求1所述卷积神经网络的任务调度方法， 其特征在于， 根据 所述卷积神经 网络所在脉动阵列的数据流方式构建性能模型， 包括： 根据所述脉动阵列的数据流方式确定卷积层执 行时延LCONV； 根据所述卷积神经网络的输出层大小确定池化层执 行时延LPOOL； 确定所述卷积神经网络的缓存时延LBUF； 其中， 所述缓存时延LBUF为卷积核缓存不足的 总时延、 输入缓存不足的总时延和输出缓存不足的总时延的总和； 根据所述卷积神经网络的总层数h、 卷积层数hCONV、 池化层数hPOOL、 卷积层执行时延 LCONV、 池化层执 行时延LPOOL和缓存时延LBUF构建所述 性能模型。 3.根据权利要求2所述卷积神经网络的任务调度方法， 其特征在于， 根据 所述脉动阵列 的数据流方式确定卷积层执 行时延LCONV， 包括： 若所述脉动阵列的数据流方式为权重固定数据流， 则利用第 一公式计算卷积层执行时 延LCONV； 若所述脉动阵列的数据流方式为输入固定数据流， 则利用第 二公式计算卷积层执行时 延LCONV； 若所述脉动阵列的数据流方式为输出固定数据流， 则利用第 三公式计算卷积层执行时 延LCONV； 其中， 所述第一公式为 S1＝ Wo×Ho×r1+r2； 所述第二公式为 S2 ＝K×r1+r2； 所述第三公式为LCONV＝nt3×S3， S3＝FCONV×FCONV×Di× r1+r2； FCONV表示卷积核的高度， Di表示卷积输入层深度， Nr表示脉动阵列的行数， K表示卷积核 数量， Nc表示脉动阵列的列数， Wo表示输出层的宽度， Ho表示输出层的高度， r1表示一次乘加 操作的时延， r2表示并行任务启动的时延。 4.根据权利要求1所述卷积神经网络的任务调度方法， 其特征在于， 所述脉动阵列包括 异构的脉动阵列加速器 群； 相应的， 根据所述时延信息将所有所述网络任务分配至对应的加速器， 包括： 在约束条件下将所有所述网络任务分配至对应的加速器； 其中， 所述约束条件为脉动 阵列加速器 群处理所有所述网络任务的整体时延最小。 5.根据权利要求1所述卷积神经网络的任务调度方法， 其特征在于， 在根据所述时延信权　利　要　求　书 1/2 页 2 CN 115202848 A 2息将所有所述网络任务分配至对应的加速器之后， 还 包括： 对所述加速器的任务队列中的网络任务设置优先级分数； 控制所述加速器按照优先级分数从高到低的顺序处 理对应的网络任务； 在所述加速器处 理完一个网络任务后， 增 加任务队列的所有网络任务的优先级分数。 6.根据权利要求1所述卷积神经网络的任务调度方法， 其特征在于， 在根据所述时延信 息将所有所述网络任务分配至对应的加速器之后， 还 包括： 判断所述加速器的任务队列中的网络任务是否符合分解标准； 其中， 所述分解标准为 分解所述网络任务后处 理所有所述网络任务的整体时延降低； 若是， 则将所述网络任务分解为多个子任务， 并将所述子任务作为新的网络任务分配 至对应的加速器。 7.根据权利要求6所述卷积神经网络的任务调度方法， 其特征在于， 在将所述网络任务 分解为多个子任务之后， 还 包括： 确定所有所述子任务的执行顺序， 控制所述脉动阵列按照所述执行顺序逐个处理所述 子任务。 8.一种卷积神经网络的任务调度系统， 其特 征在于， 包括： 任务确认模块， 用于 接收待处 理图像， 并确定所述待处 理图像对应的网络任务； 模型构建模块， 用于根据所述卷积神经网络所在脉动阵列的数据流方式构建性能模 型； 其中， 所述数据流方式为权 重固定数据流、 输入固定数据流或输出固定数据流； 任务处理模块利用所述性能模型计算所述脉动阵列中每一加速器处理每一所述网络 任务的时延信息， 根据所述时延信息将所有所述网络任务分配至对应的加速器， 以便得到 所述卷积神经网络对所述待处 理图像的图像处 理结果。 9.一种电子设备， 其特征在于， 包括存储器和处理器， 所述存储器中存储有计算机程 序， 所述处理器调用所述存储器中的计算机程序时实现如权利要求 1至7任一项 所述卷积神 经网络的任务调度方法的步骤。 10.一种存储介质， 其特征在于， 所述存储介质中存储有计算机可执行指令， 所述计算 机可执行指令被处理器加载并执行时， 实现如上权利要求 1至7任一项 所述卷积神经网络的 任务调度方法的步骤。权　利　要　求　书 2/2 页 3 CN 115202848 A 3