(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210610611.2 (22)申请日 2022.05.31 (71)申请人 韶关学院 地址 512023 广东省韶关 市浈江区大 学路 288号 (72)发明人 毛伊敏　戴经国　李叶　陈志刚　 霍英　 (74)专利代理 机构 重庆天成卓越专利代理事务 所(普通合伙) 50240 专利代理师 王宏松 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于Winograd卷积 的并行深度卷积神经网 络优化方法 (57)摘要 本发明提出了一种基于Winograd卷积 的并 行深度卷积神经网络优化方法， 包括： S1， 模型批 训练阶段， 采用基于余弦相似度与归一化互信息 的特征过滤策略FF ‑CSNMI， 通过先筛选后融合的 方式消除冗余特征的计算， 解决了冗余特征计算 过多的问题； S2， 参数并行更新阶段， 采用并行 Winograd卷积策略MR ‑PWC， 通过使用并行化 Winograd卷积降低大数据环境下卷积的计算量， 以此提升 卷积运算的性能， 解决了大数据环境下 卷积运算性能不足的问题； S3， 参数组合阶段， 采 用基于任务迁移 的负载均衡策略LB ‑TM， 通过均 衡各节点之间的负载降低并行系统各节点的平 均反应时长， 提升模型参数的并行化合并效率， 从而解决了参数并行化合并效率低的问题。 本发 明在并行效率和分类效果上都有显著的提升 。 权利要求书4页 说明书18页 附图6页 CN 115204359 A 2022.10.18 CN 115204359 A 1.一种基于W inograd卷积的并行深度卷积神经网络优化方法， 其特 征在于， 包括： S1， 模型批训练阶段， 采用基于余弦相似度与归一化互信息的特征过滤策略FF ‑CSNMI， 通过先筛选后融合的方式消除冗余特 征的计算； S2， 参数并行更新阶段， 采用并行Winograd卷积策略MR ‑PWC， 通过使用并行化Winograd 卷积降低大 数据环境下 卷积的计算 量； S3， 参数组合阶段， 采用基于任务迁移的负载均衡策略LB ‑TM， 通过均衡各节点之间的 负载降低并行系统各节点的平均反应时长 。 2.根据权利要求1所述的一种基于Winograd卷积的并行深度卷积神经网络优化方法， 其特征在于， 所述基于余弦相似度与归一 化互信息的特 征过滤策略FF‑CSNMI包括： S1‑1， 特征划分： 采用基于余弦相似度的特征相似度度量系数FSM， 通过比较特征相似 度度量系数 FSM的大小将卷积层的输入特 征图划分为表征 特征集P与冗余特 征集R两部分； S1‑2， 特征过滤： 采用基于归一化互信息的特征关联系数FAC， 根据表征特征集P中各特 征图的FAC值的大小， 从表征特征集P中迭代过滤出冗余特征并纳入到冗余特征集 R中， 以此 构建出最终的冗余特 征集R； S1‑3， 特征融合： 在筛选出最终的冗余特征集R之后， 先使用特征融合函数F(Z)融合冗 余特征集 R中的冗余特征， 获得融合特征集G， 再通过合并融合特征集G与表征特征集P， 构建 出下一层的输入特 征图。 3.根据权利要求2所述的一种基于Winograd卷积的并行深度卷积神经网络优化方法， 其特征在于， 所述特 征相似度 度量系数 FSM包括： 已知特征图X与均值特征图E的向量表达形式分别为X与E， 则特征图X相对于均值特征 图E的特征相似度 度量系数 FSM为： FSM＝SIM(X,E)*| |norm(X‑E)||         (1) 其中， SIM(X,E)表示X与E的余弦相似度； ||·||表示向量的一阶范 数； max(X‑E)表示X‑E矩阵中的最大值； min(X‑E)表示X‑E矩阵中的最小值。 4.根据权利要求2所述的一种基于Winograd卷积的并行深度卷积神经网络优化方法， 其特征在于， 所述特 征关联系数 FAC包括： 已知有特征图X与均值特征图E， 且特征图X相对于均值特征图E的特征相似度度量系数 FSM， 则特 征图X相对于均值特 征图E的特 征关联系数 FAC为： FAC＝NMI(X,E)*FSM                      (4) 其中，权　利　要　求　书 1/4 页 2 CN 115204359 A 2H(X)为特 征图X的信息熵； H(E)为特 征图E的信息熵； H(X,E)为特 征图X和特 征图E的联合熵。 5.根据权利要求2所述的一种基于Winograd卷积的并行深度卷积神经网络优化方法， 其特征在于， 所述特 征融合函数F(Z)包括： 已知有待融合特 征矩阵X与Y， 两者的融合特 征矩阵为Z， 则特 征融合函数F(Z)为： 其中P＝[Z1 Z2…Zm]， P表示特 征向量Zi的一个集 合； Z1表示第1个融合特 征向量； Z2表示第2个融合特 征向量； Zm表示第m个融合特 征向量； Λ表示对角元 素， 为融合特 征矩阵Z的特 征值； λ1表示第1个对角元 素； λm表示第m个对角元 素； Zi＝ZX+ZY·cosθi                         (7) 其中Zi为融合后的特 征向量， 为P中的第i个元 素； ZX与ZY分别表示特 征矩阵X与特 征矩阵Y的特 征向量； θi表示特征向量ZX与ZY的余弦夹角； ||·||表示向量的一阶范 数。 6.根据权利要求1所述的一种基于Winograd卷积的并行深度卷积神经网络优化方法， 其特征在于， 所述并行W inograd卷积策略MR ‑PWC包括： S2‑1， 特征图切分： 采用多叉树切分策略MTS来切分卷积层的输入特征图， 获得各特征 图的多叉切分树， 为并行W inograd卷积创造并行计算的条件； S2‑2， 并行Winograd卷积： 结合MapReduce并行框架实现Winograd卷积的并行计算， 得 到各卷积层的卷积结果后， 再将得到的卷积结果存 入HDFS中供参数 更新时使用； S2‑3， 参数更新： 读取HDFS中的卷积结果， 先使用反向传播的误差传导公式求得各分布 式节点上DCNN模型的权值改变量， 再并行更新各DCNN模型的参数， 并将权值改变量存入 HDFS中供参数组合时使用。 7.根据权利要求6所述的一种基于Winograd卷积的并行深度卷积神经网络优化方法， 其特征在于， 所述多叉树切分策略MTS包括： 以原始特征图作为多叉切分树的根节点， 首先采用等大小切分函数ESS(X)， 等大小切 分特征图构建出子特征图X11,X12,X21,X22， 其中X11,X12,X21,X22表示四个矩阵， 而其下标则表权　利　要　求　书 2/4 页 3 CN 115204359 A 3