(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210587651.X (22)申请日 2022.05.26 (71)申请人 燕山大学 地址 066004 河北省秦皇岛市海港区河北 大街438号 (72)发明人 刘浩然　王鹏举　李晨冉　乔月琪　 崔晗　程金涛　李文婧　马子旋　 (74)专利代理 机构 石家庄众志华清知识产权事 务所(特殊普通 合伙) 13123 专利代理师 田秀芬 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于特征增强与多层级融合的YOLOv3目标 检测方法 (57)摘要 本发明公开了基于特征增强与多层级融合 的YOLOv3目标检测方法， 属于计算机视觉技术领 域， 所述检测方法是分别在骨干结构和特征融合 部分对原有YOL Ov3网络结构进行优化， 包 括： S1， 骨干结构部分引入残差网络形成双分支骨干网 络结构； S2， 双分支骨干网络分支结构引入空间 可分离卷积形成特征增强的双分支骨干网络结 构； S3， 建立多层级特征融合结构； S4， 特征融合 部分特征金字塔结构引入多层级特征融合结构 并加入空洞卷积模块形成基于多层级特征融合 的特征金字塔结构； S5， 进行训练测试， 并进行可 视化分析。 本发明使YOL Ov3网络在检测精度上有 更进一步的提升， 并增强了YOLOv3网络对图像位 置的信息 定位能力。 权利要求书1页 说明书8页 附图5页 CN 114998696 A 2022.09.02 CN 114998696 A 1.一种基于特征增 强与多层级融合的YOLOv3目标检测方法， 其特征在于： 分别在骨干 结构和特 征融合部分对原有YOLOv3网络结构进行优化， 包括以下步骤： S1， 骨干结构部分引入残差网络形成双分支骨干网络结构； S2， 双分支骨干网络结构的分支上引入空间可分离卷积形成基于特征增强的双 分支骨 干网络结构； S3， 建立多层级特 征融合结构； S4， 在骨干结构改进基础上对特征融合部分进行改进， 在特征融合部分特征金字塔结 构中引入多层级特征融合结构并加入空洞卷积模块形成基于多层级特征融合的特征金字 塔结构； S5， 进行训练测试， 并进行 可视化分析。 2.根据权利要求1所述的一种基于特征增 强与多层级融合的YOLOv3目标检测方法， 其 特征在于： 在S1、 S2中， 针对YOLOv3网络骨干结构特征提取不充分导致精度不高和鲁棒性较 差的问题， 在YOLOv3的骨干网络基础上构建基于特征增强的双分支骨干网络结构， 其约束 条件包括： 1） 引入残差网络形成双分支网络结构保留原有特征信 息， 丰富骨干网络对于图像特征 信息提取的全面 性， 增强了骨干网络对于图像特 征的提取能力； 2） 针对双分支骨干网络分支结构中鲁棒性较差的问题， 对分支网络再次改进， 将空间 可分离卷积模块加入分支网络结构中， 利用不同尺寸的空间可分离卷积模块对分支结构中 的两层特征层进行不同程度的特征细化， 保证了分支特征细节信息的全面， 并在空间可分 离卷积模块后端加入BN层与LeakyReLU层 有效缓解了网络因参数量巨大而产生过拟合的现 象， 提高网络的鲁棒 性。 3.根据权利要求1所述的一种基于特征增 强与多层级融合的YOLOv3目标检测方法， 其 特征在于： 针对图像位置信息定位能力不 强， 多尺度融合不充分， 对小目标的检测效果不佳 的问题， 在修改骨干网络的基础上对网络的特征融合部分进行结构改进， 提出了基于多层 级特征融合的特 征金字塔结构的算法， 其约束条件 包括： A） 提出多层级特征融合结构， 利用深层有效特征层进行特征提取获取浅层特征信息， 进行不同层级间的特征叠加， 丰富了原有特征层上 的位置信息， 通过卷积进行特征整合与 通道压缩进而与有效特征层特征进行特征融合， 细化了图像特征， 在特征层深度相同的情 况下基于多层级特征融合结构特征层信息密度更大， 所包含的位置信息更多， 使得多层级 特征融合结构的多尺度融合更为充分， 增强图像位置信息 定位能力； B） 针对原特征金字塔结构语义信 息与位置信 息交互不平衡问题， 在特征金字塔引入多 层级特征融合结构， 并加入空洞卷积模块， 提出基于多层级 特征融合的特征金字塔结构， 能 够增大整体网络的感受野， 保证浅层信息与深层信息交互的平衡性， 提高了对小目标的检 测效果。权　利　要　求　书 1/1 页 2 CN 114998696 A 2基于特征增强与多层级融合的Y OLOv3目标 检测方法 技术领域 [0001]本发明涉及 计算机视觉技术领域， 尤其是基于特征增强与 多层级融合的YOLOv3目 标检测方法。 背景技术 [0002]目标检测作为图像处理和计算机视觉领域中的经典课题， 在交通监控、 图像检索、 人机交互、 机器人视 觉、 自动驾驶 等方面有着广泛的应用。 [0003]由于各类物体有不同的外观、 形状、 姿态， 加上成像时光照、 遮挡等 因素的干扰， 目 标检测一 直是机器视 觉领域最具有挑战性的问题。 [0004]从目前深度学习用于目标检的检测方法思路上来看， 可以大致分为两类： [0005]一类是一阶段目标检测(one  stage)的方法： 经过检测直接给出最终检测结果， 其 经典检测方法主 要包含SSD， YOLO系列等检测方法。 [0006]另一类是二阶段目标检测(two  stage)的方法： 首先产生候选区域， 然后利用卷积 神经网络对候选区域分类， 其经典检测方法主 要包括Fast ‑RCNN， Faster ‑RCNN等检测方法。 [0007]相比于two ‑stage检测方法， one ‑stage检测方法检测速度快， 模型更小， 可以更好 的适应于工业生产及应用， 也大幅提升了目标检测方法 的计算效率。 YOLOv3算法虽然检测 速度快， 但也存在着问题： 如YOLOv3网络结构(如图1所示)较为简单， 骨干网络部分特征获 取能力较弱， 鲁棒性较差， 导致提取到的特征不够 全面； 并且 特征融合部 分也会丢失大量的 位置信息， 存在多尺度融合 不充分， 对小目标的检测效果 不佳的问题。 发明内容 [0008]本发明需要解决的技术问题是提供基于特征增强与多层级融合的YOLOv3 目标检 测方法， 解决了现有技 术中存在的问题， 检测速度快， 能够广泛应用于各 行各业。 [0009]为解决上述 技术问题， 本发明所采用的技 术方案是： [0010]一种基于特征增强与 多层级融合的YOLOv3目标检测方法， 分别在骨干结构和特征 融合部分对原有YOLOv3网络结构进行优化， 包括以下步骤： [0011]S1， 骨干结构部分引入残差网络形成双分支骨干网络结构； [0012]S2， 双分支骨干网络结构的分支 上引入空间可分离卷积形成基于特征增强的双分 支骨干网络结构； [0013]S3， 建立多层级特 征融合结构； [0014]S4， 在骨干结构改进基础上对特征融合部分进行改进， 在特征融合部分特征金字 塔结构中引入多层级特征融合结构并加入空洞卷积模块形成基于多层级特征融合的特征 金字塔结构； [0015]S5， 进行训练测试， 并进行 可视化分析。 [0016]本发明技术方案的进一步改进在 于： 在S1、 S2中， 针对YOLOv3网络骨 干结构特征提 取不充分导致精度不高和鲁棒性较差的问题， 在Y OLOv3的骨干网络基础上构建基于特征增说　明　书 1/8 页 3 CN 114998696 A 3