(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111644519.X (22)申请日 2021.12.2 9 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市潮王路18号 (72)发明人 肖杰　杨宇剑　郑昊　陈闻博　 许营坤　龙海霞　 (74)专利代理 机构 杭州赛科专利代理事务所 (普通合伙) 33230 代理人 宋飞燕 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/063(2006.01) G06N 3/08(2006.01) (54)发明名称 一种深度神经网络冗余可靠性度量方法、 介 质及设备 (57)摘要 本发明提供了一种深度神经网络冗余可靠 性度量方法、 介质及设备， 对深度神经网络的层 节点基于权重信息进行聚类， 利用几何中心理论 标识深度神经网络的每个层的几何中心， 构建基 于故障注入 策略的网络可靠性计算模 型， 基于自 适应收敛策略提取网络的冗余可靠性； 以介质执 行基于几何中心理论的深度神经网络冗余可靠 性度量方法的深度神经网络冗余可靠性度量程 序； 以计算机设备存储实现基于几何中心理论的 深度神经网络冗余可靠性度量方法的计算机程 序。 本发明有助于提高识别精度、 加快计算速度； 在实现计算加速的同时有效量化不同输出对网 络可靠性的影 响， 有助于相关人员及时了解掌握 网络冗余度与可靠性的对应关系， 为进一步决策 提供有效参 考与依据。 权利要求书3页 说明书8页 附图1页 CN 114358248 A 2022.04.15 CN 114358248 A 1.一种深度神经网络冗余可靠性度量方法， 其特征在于： 所述方法对深度神经网络的 层节点基于权重信息进行聚类， 利用几何中心理论标识深度神经网络的每个层的几何中 心， 构建基于故障注入策略的网络可靠性计算模型， 基于自适应收敛策略提取网络的冗余 可靠性。 2.根据权利要求1所述的一种深度神经网络冗余可靠性度量方法， 其特征在于： 所述方 法包括以下步骤： 步骤1： 读取深度神经网络模型M， 提取关联参数； 步骤2： 对深度神经网络 M中每一层节点的权 重进行聚类； 步骤3： 标记深度神经网络 M中每一层的冗余节点； 步骤4： 构建基于故障注入策略的网络可靠性计算模型， 计算深度神经网络M的冗余可 靠性。 3.根据权利要求2所述的一种深度神经网络冗余可靠性度量方法， 其特征在于： 所述关 联参数包括深度神经网络M的层数L、 层节点的权重集合W、 节 点故障概率P、 M在P下的可靠性 RM、 样本数据集V， 最大样本随机抽取次数Emax， 模型的冗余度S； 其中， W＝{W1,W2,..,WL}， 以Wl为第l层的节点权 重向量， l 为1至L的正整数。 4.根据权利要求2所述的一种深度神经网络冗余可靠性度量方法， 其特征在于： 所述步 骤2包括以下步骤： 步骤2.1： 基于层节点权 重的概率分布， 采用高斯核函数， 得到第l层节点 Wl的聚类数k； 步骤2.1： 利用K ‑means算法将第l层节点的Wl聚类为k个簇， 并记为 Wl,1,Wl,2,..,Wl,k。 5.根据权利要求4所述的一种深度神经网络冗余可靠性度量方法， 其特征在于： 所述步 骤3包括以下步骤： 步骤3.1： 初始化循环变量j＝1； 步骤3.2： 以式(1)标识Wl,j的几何中心， 并记为 WGM， 函数argmin 返回距离Wl,j中n个元素欧几里得距 离之和最小的元素， 其中， 为Wl,j中 的第i个元 素， d为 的维度， Rd为d维实数， n为Wl,j中元素的个数， | |*||2指2范数； 步骤3.3： 以式(2)得到最先找到的距离WGM欧几里得距离最小的元 素 以此标识Wl,j所对应的冗余网络节点； 步骤3.4： 根据事先设定的冗余度S， 利用式(2)标记Wl,j中的S×len(Wl,j)个与冗余节点 相对应的权重， 并置入集合Wl,j‑redundance， 以Wl,j‑redundance为第l层第j个分类中冗余节点所对 应的权重集合； 步骤3.5： 若j<k， 则j＝j+1， 并返回步骤3.2， 否则， 进行 下一步；权　利　要　求　书 1/3 页 2 CN 114358248 A 2步骤3.6： 将第l层冗余节点所对应的权重集合Wl‑redundance中所有元素的值置为0， Wl‑redundance＝{0}； 步骤3.7： 以式(3)标记第l层非冗余节点所对应的权 重， 并将它 们置入集 合Wl‑key； Wl‑key＝Wl‑Wl‑redundance                (3) 步骤3.8： 将M更新后的模型记为Mupdated。 6.根据权利要求5所述的一种深度神经网络冗余可靠性度量方法， 其特征在于： 所述步 骤4包括以下步骤： 步骤4.1： 初始化循环变量E＝0； 步骤4.2： 从样本数据集V中随机抽 取样本x， 并从softmax的输出端提取x基于M的归属 概率向量vector1， 并通过vector1给出针对x的类别的概率的排序rank_golden； 其中 softmax为归一 化指数函数； 步骤4.3： 依据给定的节点故障概率P对模型Mupdated的集合Wl‑key实施故障注入， 并从 softmax的输 出端提取x基于Mupdated的归属概率向量vector2， 再通过vector2给出针对x的类 别的概率的排序ran k_fault； 步骤4.4： 以rank_golden1和rank_fault1对应rank_golden与rank_fault的第1个元素， 若rank_golden1＝rank_fault1， 则进行下一步， 否则， 返回步骤4.2； 步骤4.5： 以式(4)和式(5)计算在输入 x下Mupdated的输出可靠性R1及余弦相似性R2， 其中， K为Mupdated输出层的分类数， 和 分别表示从rank_golden 和rank_fault中提取的第i个元素， vector1i和vector2i分别表示从vector1和vector2中提 取的第i个元 素， ||*||1为1范数； 步骤4.6： E＝E+1， 以式(6)计算在输入 x下Mupdated的可靠性Rx， Rx＝α R1+β R2                          (6) 其中， α 和β 分别为R1和R2的重要性系数且α ∈[0,1], β ∈[0,1]； 步骤4.7： 若E>1， 则利用公式(7)求取Mupdated的无偏估计， 并进行下一步， 否则， 返回步骤 4.2； 其中， R′表示从V中随机抽取E次样本下Mupdated可靠性的平均值； 步骤4.8： 以式(8)求取M的冗余可靠性R； R＝RM‑R′                              (8) 步骤4.9： 若R满足收敛或E≥Emax， 则停止迭代， 并进行 下一步， 否则返回步骤4.2； 步骤4.10： 输出M在冗余度S下的冗余可靠性R。 7.根据权利要求6所述的一种深度神经网络冗余可靠性度量方法， 其特征在于： 所述步权　利　要　求　书 2/3 页 3 CN 114358248 A 3