(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210620275.X (22)申请日 2022.06.02 (71)申请人 广州大学 地址 510006 广东省广州市大 学城外环西 路230号 (72)发明人 胡晓　黎锦栋　黄子燊　黄奕秋　 (74)专利代理 机构 广州高炬知识产权代理有限 公司 44376 专利代理师 孙明科 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于协同注意力和多尺度融合的运动目标 检测系统及方法 (57)摘要 本发明涉及计算机视觉技术技术领域， 公开 了一种基于协同注意力和多尺度融合的运动目 标检测系统及方法， 该系统包括特征提取模块、 目标区域识别模块、 基于协同注 意力机制和多尺 度特征融合网络； 该基于协同注 意力机制和多尺 度特征融合网络分为两条分支： 第一条分支将图 像经过特征提取后获取对应的特征图， 并在此 嵌 入协同注 意力模块， 在通道注 意力的基础上兼顾 其位置关系， 将通道主力注意力与空间注意力联 合起来； 第二条分支加入了多尺度特征融合模块 ASPP融合了不同尺度的 图像特征。 本发明 改善了 由于多尺度问题导致的巨大误差， 减少了由于图 像的多尺度变化对运动目标检测的影 响， 并通过 协同注意力机制提高系统检测性能， 减少误检 率。 权利要求书3页 说明书9页 附图4页 CN 115188066 A 2022.10.14 CN 115188066 A 1.一种基于协同注意力和多尺度融合的运动目标检测系统， 其特征在于： 所述系统包 括特征提取模块、 目标区域识别模块、 基于协同注意力机制和多尺度特征融合网络； 基于协 同注意力机制和多尺度特征融合网络分为两条分支： 第一条分支将图像经过特征提取后获 取对应的特征图， 并在此嵌入Coordinate  Attention即协同注意力模块， 在通道注意力的 基础上兼顾其位置关系， 将通道主力注意力与空间注意力联合起来； 第二条分支加入多尺 度特征融合模块AS PP融合不同尺度的图像特 征。 2.根据权利要求1所述的基于协同注意力和多尺度融合的运动目标检测系统， 其特征 在于： 所述特征提取模块， 输入待检测目标图像， 采用Y OLOv3的前34层作为前端特征映射提 取器， 将前端网络提取的特征经过协同注意力机制模块Coordinate  Attention进行数据处 理之后， 网络能将更多的注意力分配给目标所在区域； 并且特征经过多尺度融合模块ASPP， 得到多尺度信息， 以提高网络对于不同尺寸大小的目标检测能力， 协同注意力机制 Coordinate  Attention， 在特征提取过程中加入协同注意力机制使 得网络提取的特征可以 更关注图像的关键区域， 提高网络的准确性； 协同注意力机制Coordinate  Attention可以 被看作是一个计算单元， 可以将任何中间特征张量作为输入并通过转换输出与X张量具有 相同size同时具有增强表征的Y＝{y1,y1,y1....yc}； Coordinate  Attention通过精确的位 置信息对通道关系和 长期依赖性进行编码， 多尺度特征融合模块ASPP， 采用四个级联的空 洞卷积， 空洞率分别为6， 12， 18， 24； 神经网络通过多尺度特征融合模块ASPP结构来提取不 同尺度的空间信息， 得到一个包含抽象化特征信息的输出， 而编码阶段通过融合一个包含 足量局部信息， 边 缘信息的低层特 征图来补充细节信息， 最后进行 预测。 3.根据权利要求2所述的基于协同注意力和多尺度融合的运动目标检测系统， 其特征 在于： 所述Coordinate  Attention在训练过程具体操作分为Coordinate信息嵌入和 Coordinate Attention生成2个步骤； Coordinate信息嵌入:全局池化方法通常用于通道注意编码空间信息的全局编码， 但 由于它将全局空间信息压缩到通道描述符中， 导致难以保存位置信息， 为了促使注意力模 块能够捕捉具有精确位置信息的远程空间交互， Coordinate  Attention机制按照以下公 式 分解了全局池化， 转 化为一对一维特 征编码操作： 具体来说， 给定输入X， 首先使用尺寸为(H,1)或(1,W)的p ooling kernel分别沿着水平 坐标和垂直 坐标对每 个通道进行编码， 因此， 高度为的第通道的输出公式为: 同样， 宽度为 w的第c通道的输出公式为： 上述2种变换分别沿两个空间方向聚合特 征， 得到一对方向感知的特 征图， Coordinate  Attention生成:上述的变换可以很好的获得全局感受野并编码精确的位权　利　要　求　书 1/3 页 2 CN 115188066 A 2置信息， 为了利用由此产生的表征， 此处需要第2个转换， 成为Co ordinate Attention生成， 通过信息嵌入中的变换后， 该部分将上面的变换进行concatenate操作， 然后使用1 ×1 卷积变换函数 F1对其进行变换操作： f＝ δ(F1([zh,zw])) #(4) 式中[*,*]为沿空间维数的concatenate操作， δ为非线性激活函数， f为对空间信息在 水平方向和垂直方向进 行编码的中间特征映射， 然后沿着空间维数将f分解为2个单独的张 量fh∈RC/r×H和fw∈RC/r×W， 这里r用来控制SE block大小的缩减率， 利用另外2个 1×1卷积变 换Fh和Fw分别将fh和fw变换为具有相同通道数的张量到 输入X， 得到公式: gh＝σ(Fh(fh)), gw＝σ(FW(fW)) #(5) 这里σ 是sigmoid激活函数， 为了降低模型的复杂性和计算开销， 这里通常使用适当的 缩减比r来减少f的通道数， 然后对输出gh和gw进行扩展， 分别作为attention weights， 最 后， Coordinate Attention Block的输出Y公式为： 4.根据权利要求2所述的基于协同注意力和多尺度融合的运动目标检测系统， 其特征 在于： 采用多尺度融合模块ASPP、 协同注意力机制模块Coordinate Attention对传统的目 标算法进行改进， 得到高准确率及误检漏检测率的目标检测结果； 所述基于协同注意力机制和多尺度特征融合网络包括： 摄像头数据获取模块、 数据导 入模块、 数据预处 理模块、 目标检测网络模块； 所述摄像头数据获取模块对指定区域进行拍摄， 获取图像数据； 所述数据 预处理模块接收通过数据导入模块导入的图像数据并进行处理； 即将图像数 据进行裁切 和归一化转化为目标检测网络可处 理的数据； 所述运动目标检测网络模块接收处理后的数据， 采用YOLOv3的前34层作 为前端特征映 射提取器， 将前端网络提取的特征经过协同注意力机制模块Coordinate Attention进行数 据处理之后， 网络能将更多的注意力 分配给目标所在区域； 并且特征经过多尺度融合模块 ASPP， 得到多尺度信息， 以提高网络对于不同尺寸大小的目标检测能力。 5.一种基于协同注意力和多尺度融合的运动目标检测方法， 其特征在于， 利用不同尺 度的图像信息增加系统的提取特征能力， 并结合协同注意力机制提高系统对关键信息的定 位及检索能力， 包括以下步骤； S1： 通过数据获取模块获取用于网络训练的视频 数据集； S2： 构建基于协同注意力机制和多尺度特 征融合网络； S3： 对基于协同注意力机制和多尺度特 征融合网络进行训练， 得到训练后的网络； S4： 通过训练后的网络对视频 数据集进行测试， 得到测试 结果； S5： 根据测试 结果对训练后网络进行评估， 得到 评估结果， 进 而优化网络 权重系数； S6： 将待测视频 数据集输入 优化后的网络进行目标检测， 得到检测结果。 6.根据权利要求5所述的基于协同注意力和多尺度融合的运动目标检测方法， 其特征 在于： 所述步骤S1具体的步骤为： 在活动频繁的公共场合中设置若干摄像头， 通过若干摄像 头获取不同角度的目标图像； 对摄像头图像中出现的所有运动目标进行标注及标注， 生成 标注文件， 采用7:3的比例将视频 数据集随机分为训练集和 测试集。权　利　要　求　书 2/3 页 3 CN 115188066 A 3