(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210544906.4 (22)申请日 2022.05.19 (71)申请人 山东新一代信息产业 技术研究院有 限公司 地址 250100 山东省济南市高新区港兴三 路北段未来创业广场3号楼1 1-12层 (72)发明人 赵小楠　王健　王本强　 (74)专利代理 机构 济南信达专利事务所有限公 司 37100 专利代理师 孙园园 (51)Int.Cl. G06V 20/58(2022.01) G06V 20/40(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G08G 1/0967(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 安防机器人智能驾驶道路交通灯识别方法 及系统 (57)摘要 本发明公开了安防机器人智能驾驶道路交 通灯识别方法及系统， 属于智能驾驶及目标检测 识别技术领域， 本发明要解决的技术问题为如何 改善目前安防机器人缺乏遵守道路交通灯交通 规则行驶的安全功能， 实现对低速的安防机器人 园区巡检行驶交通灯的检测识别， 提高安防机器 人在巡检过程中的安全性， 采用的技术方案为： 该方法是通过在安防机器人上安装GMSL摄像头 传感器设备， 并通过注意力机制增加目标网络对 交通灯这类在固定区域中的小目标检测的信息 表征能力， 再通过对固定区域目标进行特征校正 和细化， 实现对低速的安防机器人园区巡检行驶 交通灯的检测识别。 权利要求书2页 说明书5页 附图1页 CN 114694122 A 2022.07.01 CN 114694122 A 1.一种安防机器人智能驾驶道路交通灯识别方法， 其特征在于， 该方法是通过在安防 机器人上安装GMSL摄像头传感器设备， 并通过注意力机制增加目标网络对交通灯这类在固 定区域中的小目标检测的信息表征能力， 再通过对固定区域 目标进行特征校正和细化， 实 现对低速的安防机器人园区巡检行驶交通灯的检测识别。 2.根据权利要求1所述的安防机器人智能驾驶道路交通灯识别方法， 其特征在于， 该方 法具体如下： 将GMSL摄 像头传感器设备采集的数据进行图像的前处 理； 在yolox网络模型的Neck中PA ‑FPN中添加空间特 征适应融合ASF F模块和CBAM模块； 对修改后的yo lox网络模型进行 学习率及批次的参数调整、 训练验证与输出。 3.根据权利要求1所述的安防机器人智能驾驶道路交通灯识别方法， 其特征在于， 将 GMSL摄像头传感器设备采集的数据进行图像的前处 理具体如下： 相机采集以3 0帧每秒的1280 *720的视频 数据； 将视频数据按照每秒截取5帧为 图片， 涉及opencv 的部分操作， 去噪采用滤波算法； 同 时利用yo lox网络模型自身包 含数据增强MixUp和Mosaic方法进行 数据增强处 理； 采用opencv函数进行 数据旋转、 移动及亮度的操作实现数据的扩充增强。 4.根据权利要求1所述的安防机器人智能驾驶道路交通灯识别方法， 其特征在于， 所述 yolox网络模型在自身编码结构主干网络传入PA ‑FPN操作中加入注意力CBAM模块， 继续加 载yolox网络模型的预训练权重， 即对于特征提取的backbone输出的不同尺度大小的 feature map进行注意力机制的使用， 具体如下： 实例化CBAM模块对象； 修改对应通道； 在前向推理过程中添加不同通道的CBAM模块。 5.根据权利要求1所述的安防机器人智能驾驶道路交通灯识别方法， 其特征在于， 所述 CBAM模块包括CAM子模块和SAM子模块， 通过CAM子模块和SAM子模块实现CBAM模块在通道和 空间两个维度上进行特征权重分配的关注， 关注有用的目标对 象， 使对于在安防机器人拍 摄特定区域的交通灯区域 实现更好的通道注意力特征和空间注意力特征提取关注， 即将通 道注意力特 征与空间注意力特 征相乘得到最终的feature  map。 6.根据权利要求5所述的安防机器人智能驾驶道路交通灯识别方法， 其特征在于， 通道 注意力特 征生成具体如下： CAM子模块在前， CAM子模块将输入的feature  map(H×W×C)分别经过基于width和 height的GMP和GAP， 即 GMP与GAP的并行池化， 得到 两个1×1×C的feature  map； 将两个1×1×C的feature  map分别送入一个两层的神经网络 MLP； 将两层的神经网络MLP输出的特征进行基于element ‑wise的add操作， 即相应张量内的 对应元素进行相加操作； 经过sigmoid归一化操作， 生成最终的通道 注意力特 征。 7.根据权利要求5所述的安防机器人智能驾驶道路交通灯识别方法， 其特征在于， 空间 注意力特 征生成具体如下： 将CAM子模块输出的feature  map作为SAM 子模块的输入特 征图； 做一个基于channel的GMP和GAP， 得到 两个H×W×1的feature  map；权　利　要　求　书 1/2 页 2 CN 114694122 A 2将两个H×W×1的feature  map基于channel做concat操作， 即通道拼接操作； 经过一个7×7卷积操作， 降维为1个c hannel， 再经过sigmoid生成空间注意力特 征。 8.根据权利要求1所述的安防机器人智能驾驶道路交通灯识别方法， 其特征在于， 所述 空间特征适应融合ASFF模块适用于3个通道输出， 自适应地学习各尺度feature  map融合的 空间权重， 差分地搜索最优融合， 优化网络在反向传播中的学习。 9.一种安防机器人智能驾驶道路交通灯识别系统， 其特 征在于， 该系统包括， GMSL摄像头传感器设备， 用于采集安防机器人拍摄的视频数据， 并对视频数据进行前 处理； CBAM模块， 用于在通道和空间两个维度上进行特征权重分配的关注， 关注有用的目标 对象， 使对于在安防机器人拍摄特定区域的交通灯区域 实现更好的通道注意力特征和空间 注意力特 征提取关注； 空间特征适应融合ASFF模块， 用于适用于3个通道输出， 自适应地学习各尺度feature   map融合的空间权 重， 差分地搜索最优融合， 优化网络在反向传播中的学习。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中存储有计算机 程序， 所述计算机程序可被处理器执行以实现如权利要求 1至8中任一项 所述的安防机器人 智能驾驶道路交通灯识别方法。权　利　要　求　书 2/2 页 3 CN 114694122 A 3