(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111629580.7 (22)申请日 2021.12.28 (71)申请人 中电金信软件 有限公司 地址 100192 北京市海淀区西小口路6 6号 东升科技园C区4 号楼401室 (72)发明人 陈茜　 (74)专利代理 机构 北京市立方律师事务所 11330 代理人 张筱宁 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/58(2022.01) G06T 7/73(2017.01) G06T 7/11(2017.01) G06T 5/50(2006.01)G06K 9/62(2022.01) G06V 10/56(2022.01) G06V 10/774(2022.01) G06T 3/40(2006.01) (54)发明名称 交通信号灯识别模型的训练方法及交通信 号灯的识别方法 (57)摘要 本申请实施例提供了一种交通信号灯识别 模型的训练方法、 交通信号灯的识别方法、 交通 信号灯识别模型的训练装置、 交通信号灯的识别 装置、 电子设备、 计算机可读存储介质及计算机 程序产品。 涉及自动驾驶和辅助驾驶技术领域。 该方法包括： 对多张样本图像进行裁剪、 缩放以 及排布后合并， 得到合并图像； 样本图像中标注 有交通信号灯的成像内容的有界框的实际位置； 将合并图像输入至初始神经网络， 得到初始神经 网络输出的有界框的预测位置， 根据该预测位置 和实际位置计算损失函数值， 并根据损失函数值 对初始神经网络模型进行迭代更新， 得到交通信 号灯识别模型。 本申请实施例交通信号灯识别模 型能准确地识别交通信号灯的有界框， 提高识别 的准确度。 权利要求书3页 说明书15页 附图4页 CN 114332704 A 2022.04.12 CN 114332704 A 1.一种交通信号灯识别模型的训练方法， 其特 征在于， 包括： 获取包括多个训练样本的训练数据集； 每个训练样本中包括至少两张样本 图像， 所述 样本图像标注有交通信号灯的成像内容的有界框的实际位置； 对所述多 张样本图像进行裁剪， 并对多 张裁剪后的样本图像进行缩放以及排布后进行 合并， 得到一张合并图像； 将所述合并图像输入至初始神经网络模型的第 一层子网络， 得到所述第 一层子网络对 所述合并图像进 行自适应锚框以及自适应缩放后输出一张待测图像； 所述待测图像中标注 有所有有界框的初始位置； 将所述待测图像输入至所述初始神经网络模型的第 二层子网络， 得到所述第 二层神经 网络在所述待测图像的多个预设像素处分别开始隔行隔列提取像素以及对提取像素后得 到的多张子图进行 卷积处理后输出的多张特 征图； 将所述多 张特征图输入至所述初始神经网络模型的第 三层子网络， 得到所述第 三层子 网络对所述多张特 征图进行 特征融合后获得的融合特 征图； 将所述融合特征图和所述待测图像输入至所述初始神经网络模型的第四层子网络， 得 到所述第四层子网络匹配出的所述融合特征图在所述待测图像中映射的目标区域， 并根据 所述目标区域调整 有界框的初始位置后输出的所述有界框的预测位置； 根据所述实际位置以及所述预测位置计算预设的神经网络损失函数的损失函数值， 并 根据所述损失函数值对所述初始神经网络模型进行迭代训练， 得到交通信号灯识别模型。 2.根据权利要求1所述的方法， 其特 征在于， 所述对所述多张样本图像进行裁 剪包括： 对于每张样本图像， 获取 所述样本图像的水平分辨 率和垂直分辨 率； 若所述水平分辨率或所述垂直分辨率中任意一种分辨率不符合预设数值的倍数， 计算 出水平方向或垂直方向上应裁 剪的像素的最小值； 根据所述最小值对所述样本图像进行裁剪， 使得裁剪后的样本图像的水平分辨率和 垂 直分辨率均符合预设数值的倍数； 其中， 所述 最小值小于所述预设数值。 3.根据权利要求1或2任意一项所述的方法， 其特征在于， 所述对多张裁剪后的样本 图 像进行缩放以及排布后进行合并， 得到一张合并图像， 包括： 获取预设水平分辨率和预设垂直分辨率， 所述预设水平分辨率和所述预设垂直分辨率 均符合预设数值的倍数； 基于所述预设垂直分辨率、 所述预设垂直分辨率、 所述裁剪后的样本 图像的水平分辨 率和垂直分辨率， 确定各个裁剪后的样本图像在水平方向上的第一缩放比例和垂直方向的 第二缩放比例； 根据所述第一缩放比例和所述第二缩放比例对所述裁剪后的样本图像进 行 缩放； 对缩放后的样本图像进行随机排布后合并， 得到一张合并图像。 4.根据权利要求1所述的方法， 其特征在于， 所述将所述合并图像输入至初始神经网络 模型的第一层子网络， 得到所述第一层子网络对所述合并图像进 行自适应锚框以及自适应 缩放后输出一张待测图像， 包括： 对所述合并图像进行自适应锚框操作， 标记出所述合并图像中所有有界框的初始位 置， 得到标记有所有 有界框的初始位置的标记图像；权　利　要　求　书 1/3 页 2 CN 114332704 A 2对所述标记图像进行自适应缩放， 获得待测图像， 所述待测图像的水平分辨率和垂直 分辨率均符合预设数值的倍数。 5.根据权利要求1所述的方法， 其特征在于， 所述将所述待测图像输入至所述初始神经 网络模型的第二层子网络， 得到所述第二层神经网络分别 在所述待测图像的多个预设像素 处开始隔行隔列提取像素以及对提取像素后得到的多张子图进行多次卷积处理后输出的 多张特征图， 包括： 在所述待测图像中确定多个预设像素； 对于任意一个预设像素， 从所述预设像素处开始隔行隔列提取像素， 得到所述待测图 像的一张子图； 对于任意一张子 图， 对所述子 图进行多次卷积处理以提取所述子 图的特征， 得到所述 子图对应的特 征图。 6.根据权利要求1所述的方法， 其特征在于， 所述将所述融合特征图和所述待测图像输 入至所述初始神经网络模型的第四层子网络， 得到所述第四层子网络匹配出的所述融合特 征图在所述待测图像中映射的目标区域， 并根据所述目标区域调整有界框的初始位置后输 出的所述有界框的预测位置， 包括： 提取所述融合特征图的特征向量； 所述特征向量中包括像素值特征和 纹理特征、 形状 特征和空间关系特 征； 确定所述特征向量在所述待测图像中映射的目标区域； 根据所述目标区域对所述有界 框的初始位置进行调整， 得到所述有界框的预测位置 。 7.根据权利要求1所述的方法， 其特征在于， 所述实际位置以有界框上所有像素的实际 坐标表征； 所述预测 位置为有界框上所有像素 的预测坐标表征； 所述根据所述实际位置以 及所述预测位置计算预设的神经网络损失函数的损失函数值， 并根据所述损失函数值对所 述初始神经网络模型进行迭代训练， 得到交通信号灯识别模型， 包括： 将所述有界框上的所有像素的实际坐标以及所有像素的预测坐标输入至所述预设的 神经网络损失函数， 得到损失函数值； 若所述损失函数值不符合神经网络模型训练结束条件， 则基于各个所述训练样本和各 个训练样本中各样本图像中标注的有界框的实际位置对初始神经网络模型继续进行迭代 训练， 直到满足神经网络模型训练结束条件， 得到交通信号灯识别模型。 8.一种交通信号灯的识别方法， 其特 征在于， 包括： 在预定位置处获取待测图像； 所述待测图像包 含交通信号灯的成像内容； 将所述待测图像输入至交通信号灯识别模型中， 得到所述交通信号灯识别模型输出的 用于标记成像内容的有界框在所述待测图像中的位置； 通过预设的颜色模型识别所述有 界框内区域的颜色， 将所述有界框 内区域的颜色作为 所述交通信号灯的颜色， 根据所述交通信号灯的颜色确定所述交通信号灯的状态； 所述交通信号灯识别模型 是根据权利要求1至7中任意 一项所述的方法训练得到的。 9.根据权利要求8所述的方法， 其特征在于， 所述交通信号灯的状态包括允许通行、 警 示和禁行； 所述 根据交通信号灯的颜色确定所述交通信号灯的状态， 包括： 若所述交通信号灯的颜色为绿色， 则确定所述交通信号灯的状态为 运行通行； 若所述交通信号灯的颜色为黄色， 则确定所述交通信号灯的状态为警示；权　利　要　求　书 2/3 页 3 CN 114332704 A 3