(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202110324328.9 (22)申请日 2021.03.26 (65)同一申请的已公布的文献号 申请公布号 CN 113033098 A (43)申请公布日 2021.06.25 (73)专利权人 山东科技大 学 地址 266590 山东省青岛市黄岛区前湾港 路579号 (72)发明人 柳林　李万武　张继贤　 (74)专利代理 机构 青岛智地领创专利代理有限 公司 37252 专利代理师 陈海滨 (51)Int.Cl. G06F 30/27(2020.01) G06N 3/08(2006.01)G06F 9/50(2006.01) (56)对比文件 WO 20210 51713 A1,2021.0 3.25 CN 108171 148 A,2018.0 6.15 US 2016321777 A1,2016.1 1.03 CN 111931242 A,2020.1 1.13 CN 111327692 A,2020.0 6.23 CN 112464784 A,2021.0 3.09 CN 112463056 A,2021.0 3.09 CN 111274036 A,2020.0 6.12 杨旭瑜等.深度学习加速技 术研究. 《计算机 系统应用》 .2016,(第09期), 审查员 李钰 (54)发明名称 一种基于AdaRW算法的海洋目标检测深度学 习模型训练方法 (57)摘要 本发明公开了一种基于AdaRW算法的海洋目 标检测深度学习模型训练方法， 属于海洋目标检 测领域， 首先提出了AdaRW自适应梯度训练算法， 克服了AdaGra d算法中历史梯度累积导致的深度 学习速率衰减的问题； 同时设计了最优交错并行 式架构OIPA， 由多个PServer进程和Worker _DS进 程组成。 在对海洋目标检测深度学习模型进行训 练时， 通过OIPA架构对AdaRW算法进行多核并行 训练， 提高了算法训练的速度； 利用训练后的 OceanTDA9_AdaRW模型检测研究区域的疑似目 标， 提高了极化SAR海 洋目标检测的效率。 权利要求书2页 说明书8页 附图3页 CN 113033098 B 2022.05.17 CN 113033098 B 1.一种基于AdaRW算法的海洋目标检测深度学习模型训练方法， 其特征在于， AdaRW自 适应梯度训练算法采用限定窗口进行历史梯度累积， 采用Δθt平方根代替AdaGrad算法中 的超参数η， 限定梯度累 积子窗口是从当前t时刻向前推演到历史时刻tm的窗口； 同时， 设计 了多核并行OIPA架构， 对海洋目标检测深度学习模型采用AdaRW算法进行并行训练； 最终， 利用训练后的OceanTDA 9_AdaRW模型对洋疑似目标进行检测； AdaRW自适应梯度训练算法的迭代更新公式如下： Δθt＝ λΔθt‑1+(1‑λ )gt′ ⊙gt′                      (5) 式中， θ 为参数， t为当前时刻， tm为第m个历史时刻， λ为超 参数， 0≤ λ＜1； ε取一个很小值 防止分母为0； gt为损失函数J( θ )的小批量随机梯度； OIPA架构由1个中心节点Chief和若干子节点Node组成， 中心节点Chief与每个子节点 Node成星型 联结， 所有子节点在逻辑上成闭环联 结； OIPA架构的每个节点都由1个参数服务单元PServer和1个计算服务单元Worker组成； 每个子节点Worker中的数据集不同， 分别用Worker _DS0、 Worker _DS1、 Worker _DS2、 Worker _ DS3区分； 所有子节点Wor ker_DS中的数据集的和等于训练数据集， 中心节 点Worker_DS中的 数据集是完整的数据集； 参数服务单元PServ er由若干CPU组成， 只负责传递存储 数据， 不负 责计算； 计算 服务单元Worker_DS由若干GPU组成， 只负责计算， 不负责传递数据； 基于OIPA 架构的训练过程 为： (1)子节点Node0中的参数服务单元中的CPU0根据集群中节点的总数从数据集中取出 分摊到本节点的数据集DS0， 根据本节点GPU数及训练批次准备2个Batch训练数据集， 分发 给Worker_DS0中的2 个GPU训练， 将训练后的梯度ΔP传给本节点的参数服务单元PServer中 的CPU1， CPU1用聚合后的梯度更新模型的参数后继续训练； (2)本节点的Worker_DS0完成指定步数的训练后， 将最后一步的梯度传递给集群中主 节点Chief0的模 型参数文件夹中， 并从主节 点Chief0的模 型参数文件夹中提取最优模 型参 数， 保存到本节点的模型参数文件夹中， 更新参数进 行新一轮的迭代， 随后 将最优模型参数 分发给与本节点相连的上 下游节点Node1和Node2的参数服 务单元； (3)Node1和Node2的参数服务单元验证参数的最新性后， 将最新的模型参数保存到本 节点的模型参数文件夹中， 为本节点 新一轮的训练提供最 新模型参数； (4)主节点Chief0的PServer中的CPU1监听模型参数文件夹， 及时读取集群中各节点传 递的参数， 传递给本节 点的Worker_DS测试评估模 型参数， 并将最优模 型参数保存在模 型参 数文件夹中， 供 各节点读取模型文件夹中的模型继续训练。 2.根据权利要求1所述的一种基于AdaRW算法的海洋目标检测深度学习模型训练方法， 其特征在于， 该 方法包括如下步骤： S1.提出AdaRW自适应梯度训练算法， 推导出 该算法更新公式； S2.设计最优交错并行式架构OIPA； S3.采用所设计的OIPA架构对所提出的AdaRW算法进行并行训练， 得到海洋目标检测深 度学习模型OceanTDA 9_AdaRW；权　利　要　求　书 1/2 页 2 CN 113033098 B 2S4.利用训练后的OceanTDA 9_AdaRW模型检测海洋区域疑似目标。 3.根据权利要求1所述的一种基于AdaRW算法的海洋目标检测深度学习模型训练方法， 其特征在于， AdaRW 算法包括如下步骤： (1)确定损失函数， 采用交叉熵损失函数， 如下： 其中， θ 是参数， y‑i是第i个样本的输入值， hθ(xi)是第i个样本x的输出值； (2)初始化 算法相关参数， 初始化超参数 λ,梯度累积窗口大小， θ0, θ1,..., θn的值； (3)计算当前位置损失函数的梯度， 并保存tm时刻的梯度； (4)计算当前位置下降的距离di， 采用步长乘以梯度得到； (5)判断梯度下降的距离是否小于算法终止距离r或是否达到训练次数n， 如果是则算 法终止， 否则转到第(6)步； (6)更新所有的θ， 转入第(1)步， 更新 函数如下； (7)算法结束输出 结果。权　利　要　求　书 2/2 页 3 CN 113033098 B 3