(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210540270.6 (22)申请日 2022.05.17 (71)申请人 昭通亮风台信息科技有限公司 地址 657100 云南省昭通市昭阳区迎宾大 道御峰云府13幢2 楼 (72)发明人 吴斌　王迅　 (74)专利代理 机构 上海雍灏知识产权代理事务 所(普通合伙) 31368 专利代理师 沈汶波 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/90(2017.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/82(2022.01) G06V 10/80(2022.01) (54)发明名称 基于多光谱行人检测与车速检测的交通指 示方法及系统 (57)摘要 本发明提供了一种基于多光谱行人检测与 车速检测的交通指示方法， 通过基于YOL Ov4的行 人检测获取目标路口的等待行人数量和过街行 人数量； 结合等待行人数量和过街行人数量与目 标路口所关联路段的道路信息， 以计算获取该目 标路口的信号灯的切换时间； 结合等待行人数量 和过街行人数量与 目标路口所关联路段的道路 信息， 以获取关联路段的行车车速阈值； 检测目 标路口所关联路段的行车车速， 当行车车速不位 于行车车速阈值内时， 在目标路口发出来车警示 信号； 基于YOL Ov4的行人检测包括融合颜色流和 温度流， 生成融合流以提取特征， 并在不同阶段 将融合流的信息从神经网络的底部传输到顶部； 还包括根据目标路口的照明条件融合颜色流和 温度流。 权利要求书2页 说明书9页 附图3页 CN 115170467 A 2022.10.11 CN 115170467 A 1.一种基于多光谱行 人检测与车速检测的交通指示方法， 其特 征在于， 包括如下步骤： 通过基于 YOLOv4的行 人检测获取目标路口 的等待行 人数量和过街行 人数量； 结合所述等待行人数量和过街行人数量与 所述目标路口所关联路段的道路信 息， 以计 算获取该目标路口 的信号灯的切换时间； 结合所述等待行人数量和过街行人数量与 所述目标路口所关联路段的道路信 息， 以获 取所述关联路段的行车车速阈值； 检测所述 目标路口所关联路段 的行车车速， 当行车车速 不位于所述行 车车速阈值内时， 在所述目标路口发出来车警示信号； 所述基于YOLOv4的行人检测包括融合颜色流和温度流， 生成融合流以提取特征， 并在 不同阶段将所述融合流的信息从神经网络的底部传输到顶部； 还包括根据所述目标路口的 照明条件融合颜色流和温度流。 2.根据权利要求1所述的交通指示方法， 其特征在于， 所述融合颜色流和温度流， 生成 融合流以提取特征， 并在不同阶段将所述融合流的信息从神经网络的底部传输到顶部包 括： 首先生成检测母本的提案， 再对所述 提案进行分类， 以确定该提案是 行人还是背景； 采用全卷积架构的单级检测， 并通过卷积神经网络预测每个空间位置的置信分数的边 界框。 3.根据权利要求1所述的交通指示方法， 其特 征在于， 所述所述行 人检测包括： 使用维度集群作为三个不同比例的锚框来预测边界框； 使用逻辑 回归预测每个边界框 的客观性分数； 采用多标签分类用于预测每 个框的类。 4.根据权利要求1所述的交通指示方法， 其特 征在于， 所述所述行 人检测包括： 进行数据增强过程来增加输入图像的可变性； 并采用马赛克和对抗式训练为所述数据 增强过程 提供图像。 5.根据权利要求1所述的交通指示方法， 其特 征在于， 所述所述行 人检测包括： 采用卷积神经网络提取目标行人的特征检测； 其中， 根据所述特征的大小， 将卷积层 分 为五个阶段。 给定 输入尺寸 为H×W的图像， 头 部之前的三层尺寸分别为 通过空间金字塔池模块主干来增强接收场， 并使用路径聚合网络作为检测颈， 聚合来 自不同主干级别的特 征。 6.根据权利要求1所述的交通指示方法， 其特 征在于， 所述所述行 人检测包括： 生成三种不同比例的边界盒， 对于每个头部使用维度集群作为锚框来预测边界框， 并 使用联合上的完全交集作为回归的损失函数； 通过逻辑回归预测每 个所述边界框的客观性分数； 使用多标签分类来预测每 个所述边界框的类。 7.根据权利要求1所述的交通指示方法， 其特征在于， 所述根据 所述目标路口的照明条 件融合颜色流和温度流包括： 输入融合、 早期融合 I、 早期融合 II、 中途融合、 后期融合和直接融合。 8.根据权利要求1所述的交通指示方法， 其特征在于， 所述根据 所述目标路口的照明条 件融合颜色流和温度流包括： 检测获取若干个顺序帧中的目标 行人；权　利　要　求　书 1/2 页 2 CN 115170467 A 2使用最佳状态估计 器根据目标 行人当前位置和步行速度预测下一帧中的下一个位置； 在收到下一帧后， 将预测的所述下一个位置与下一帧中检测到的实际位置进行比较： 若预测的所述下一个位置与 下一帧中检测到的实际位置匹配， 则将该目标行人视为前 一个目标 行人， 并继续预测以获取 该目标行人的轨迹； 由此获取帧中所有目标 行人的轨迹； 而检测到目标行人的实际位置与之前预测的任何位置都不匹配的目标行人视为新的 目标行人， 并增加目标行人计数器。 9.根据权利要求1所述的交通指示方法， 其特征在于， 所述根据 所述目标路口的照明条 件融合颜色流和温度流包括： 颜色流和温度流的特征在通道维度中连接在一起。 串联特征图可以显示为： Fi＝Concat (CI,Ti)； 其中Ci、 Ti被定义 为i级的颜色流和温度流。 r是步长， r＝2i； 采用全局平均池和全局最大池生成通道特征向量F1； 全局平均池和全局最大池的通道 元素使用以下公式计算： 再创建一个新的紧凑模块F2， 以学习颜色和热功能的融合权重； 通过一个低维度的完全 连接(FC)层实现： z＝F2＝FC(F1)； 采用softmax进行归一化处理， 学习的权重α c和β c用于为最终融合Fc选择相应的特征； α c和β c为 通道c和 α c的标度值， α c, β c∈[0,1]； Fc＝α c·Cci+β c·Tci。 10.一种基于多光谱行人检测与车速检测的交通指示系统， 其特征在于， 包括基于 YOLOv4的行 人检测模块、 车速检测模块以及信号灯控制模块： 通过所述基于 YOLOv4的行 人检测模块获取目标路口 的等待行 人数量和过街行 人数量； 所述信号灯控制模块结合所述等待行人数量和过街行人数量与所述目标路口所关联 路段的道路信息， 以计算获取 该目标路口 的信号灯的切换时间； 所述信号灯控制模块结合所述等待行人数量和过街行人数量与所述目标路口所关联 路段的道路信息， 以获取所述关联路段 的行车车速阈值； 所述车速检测模块检测所述 目标 路口所关联路段的行车车速， 当行车车速不位于所述行车车速阈值内时， 所述信号灯控制 模块在所述目标路口发出来车警示信号； 所述基于 YOLOv4的行 人检测模块包括 通道特征融合单 元和多光谱融合单 元； 所述通道特征融合单元融合颜色流和温度流， 生成融合流以提取特征， 并在不同阶段 将所述融合流的信息从神经网络的底部传输到顶部； 所述多光谱融合单元根据所述目标路 口的照明条件融合颜色流和温度流。权　利　要　求　书 2/2 页 3 CN 115170467 A 3