(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111660295.1 (22)申请日 2021.12.3 0 (71)申请人 天翼电子商务有限公司 地址 102200 北京市昌平区未来科技城南 区中国电信集团公司院内 (72)发明人 闻一波　尹春光　 (51)Int.Cl. G06N 3/08(2006.01) G06N 3/04(2006.01) G06V 10/82(2022.01) G06V 30/19(2022.01) G06V 30/22(2022.01) G06K 9/62(2022.01) (54)发明名称 基于改进粒子 群算法优化设计DBN网络结构 (57)摘要 本发明公开了基于改进粒子群算法优化设 计DBN网络结构， 它涉及人工智能的深度学习算 法领域。 由3个RBM堆叠以及输出层组成， 由于采 用逐层预训练和对比散度算法可以快速完成连 接权值的学习。 基于改进粒子群算法优化设计 DBN网络结构方法， 采用非线性权重递减策略提 高PSO算法的收敛速度， 通过连续性变量设计构 造个体进行迭代训练， 做到输入层特征和隐藏层 神经元数目的优化选择。 本发明改进粒子群算法 优化后的DBN网络结构在错误率和训练时间上与 传统的DBN网络结构相比较， 该方法在综合性能 上有一定的提升， 实现了改进粒子群算法优化设 计DBN网络结构的目的。 权利要求书2页 说明书5页 附图2页 CN 114528991 A 2022.05.24 CN 114528991 A 1.基于改进粒子群算法优化设计DBN网络结构， 其特征在于， 由3个RBM堆叠以及输出层 组成， 由于采用逐层预训练和对比散度算法可以快速 完成连接 权值的学习。 2.基于改进粒子群算法优化设计DBN网络结构方法， 其特征在于， 采用非线性权重递减 策略提高PSO算法的收敛速度， 通过连续性变量设计构 造个体进 行迭代训练， 做到输入层特 征和隐藏层神经 元数目的优化选择， 具体包括以下步骤： (1)、 准备用于DBN网络训练的数据集， 对数据集进行 预处理， 减少图片中噪声； (2)、 根据图片维度以及最终分类输出， 确定DBN网络的初始结构， 确定输入层特征维数 和输出层节点数； (3)、 改进粒子群算法NlinPSO群体中个体变量设计， 个体变量维数设计分为两部分： 一 部分采用连续性编码设计， 维度等于DBN网络结构的输入层特征维数， 另一部分用于DBN网 络结构各隐藏层神经 元数目的设置， 该部分维数为隐藏层的层数； (4)、 粒子群算法在迭代过程中区别与传统线性惯性权重因子， 采用了非线性惯性权重 因子算法设计， 改善POS算法的收敛和寻优； (5)、 使用DBN模型中重构误差的方法， 即输入数据与重构输入数据之间的差值， 采用二 阶范数， 作为P SO算法的适应度函数计算， 逐步训练迭代， 确定最优的DBN网络结构。 3.根据权利要求1所述的基于改进粒子群算法优化设计DBN网络结构， 其特征在于， 所 述的步骤(4)中的非线性惯性权 重因子算法设计， 公式如下： 式(1)中ω_max和ω_min分别表示惯性权重因子 的最大值和最小值， 可人为设置； i表 示第i次迭代， Maxgen表示 最大迭代次数。 4.根据权利要求2所述的基于改进粒子群算法优化设计DBN网络结构方法， 其特征在 于， 所述的步骤(3)中的个体变量设计的个体组成分别为输入层特征维数和各隐藏层神经 元数目； 个体变量设计方法如下： 假设可见层特征维数为N， 生成N维的随机向量Xi＝[xi1, xi2,…,xik,…,xiN](k<N)， 其中xik服从[‑1,1]的均匀分布， 然后在DBN模型中求解适应度值 时按照式(2)的规则选取 特征， 规则如下： 式(2)中yik的取值1、 0分别表示对第k维特征的选用和舍弃， 对于隐藏层层数以及数目 设计， 由于隐藏层层数选择确定层数设计且为3层， 于是各隐藏层神经元数目只需要随机生 成一个实数迭代训练即可； 综上， 一个个体可以表示为pop(i)＝[xi1,xi2,…,xik,…,xiN,bi1,bi2,bi3]， 其中pop(i) 代表第i个个体， bi1， bi2， bi3分别表示 为每一层隐藏层神经 元数目。 5.根据权利要求2所述的基于改进粒子群算法优化设计DBN网络结构方法， 其特征在 于， 所述的步骤(5)中的适应度函数设计采用DBN模型中重构误差的方法， 即输入数据与重 构输入数据之间的差值， 采用二阶范 数， 公式如下：权　利　要　求　书 1/2 页 2 CN 114528991 A 2式(3)中S和N分别代表训 练样本个数和可见层特征维数， M表示DBN中隐藏层的层数， 代表在N维特征维数的原始数据中被选中的第j维的向量； 代表被选 中的第j维特征数据向量经过输入重构后的向量； 很显然当适应度值E(k)越小时， 则该个体 转变后的模型参数在DBN模型使用中效果越好。权　利　要　求　书 2/2 页 3 CN 114528991 A 3