(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210508579.7 (22)申请日 2022.05.11 (65)同一申请的已公布的文献号 申请公布号 CN 114627382 A (43)申请公布日 2022.06.14 (73)专利权人 南京信息 工程大学 地址 210032 江苏省南京市江北新区宁六 路219号 (72)发明人 孙玉宝　唐继辉　刘青山　闫宏艳　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 罗运红 (51)Int.Cl. G06V 20/10(2022.01) G06V 20/52(2022.01) G06V 20/58(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (56)对比文件 CN 112365476 A,2021.02.12 CN 1071949 24 A,2017.09.2 2 CN 110826412 A,2020.02.21 CN 112329623 A,2021.02.0 5 CN 109214331 A,2019.01.15 CN 111598885 A,2020.08.28 CN 105931220 A,2016.09.07 CN 109948471 A,2019.0 6.28 KR 101546724 B1,2015.08.24 JP 201313 0552 A,2013.07.04 US 2004164228 A1,20 04.08.26 JP 2007265277 A,2007.10.11 Lee, Chanho.Robust lane detecti on and tracking for real-time ap plications. 《IEEE》 .2018, 龚天洋.一种基 于车道线检测获取道路能见 度方法. 《万方数据》 .2019, 郄岩.雾天能见度检测与预测方法研究. 《CNKI》 .2019, 审查员 欧骁 (54)发明名称 联合行道线几何先验的高速公路雾天能见 度检测方法 (57)摘要 本申请涉及一种联合行道线几何先验的高 速公路雾天能见度检测方法。 该方法包括： 实时 获取高速公路上的摄像头拍摄的高速公路雾天 情况的图像数据； 将高速公路雾天情况的图像数 据输入到训练好的双分支分类网络模型的行道 线检测分支和深度神经网络视觉特征提取分支， 对应输出行道线检测标签和道路区域的视觉特 征； 训练好的双分支分类网络模 型的融合分类模 块根据行道线检测标签计算高速公路可见区域 的长度特征， 并融合道路区域的视觉特征进行分类， 确定摄像头拍摄的高速公路对应的雾天能见 度等级， 联合行道线长度特征进行分类， 分类准 确度高， 从而提高了高速公路雾天能见度检测的 准确率。 权利要求书3页 说明书9页 附图3页 CN 114627382 B 2022.07.22 CN 114627382 B 1.一种联合行道线几何先验的高速公路雾天能见度检测方法， 其特征在于， 所述方法 包括： 实时获取高速公路上的摄 像头拍摄的高速公路雾天情况的图像数据； 将所述高速公路雾天情况的图像数据输入到训练好的双分支分类网络模型的行道线 检测分支和深度神经网络视觉特征提取分支， 对应输出行道线检测标签和道路区域的视觉 特征； 所述训练好的双分支分类网络模型的融合分类模块根据所述行道线检测标签计算高 速公路可见区域的长度特征， 并融合所述道路区域的视觉特征进行分类， 确定所述摄像头 拍摄的高速公路对应的雾天能见度等级； 所述双分支分类网络模型的训练方式为： 获取不同时段、 不同角度摄 像头下的高速公路雾天情况监控图像集； 根据能见度距离将所述高速公路雾天情况监控图像集中的图像数据分为4个能见度等 级， 并将每 个能见度等级中的图像数据按照预设比例划分出训练集和 测试集； 构建结合行道线检测算法的双 分支分类网络模型， 所述双 分支分类网络模型包括行道 线检测分支、 深度神经网络 视觉特征提取分支以及融合分类模块； 采用损失函数优化所述双分支分类网络模型； 预设所述双 分支网络模型的训练超参数， 并导入行道线检测分支预先训练好的权重参 数； 将所述训练集中的图像数据输入所述双分支分类网络模型中， 根据损失函数， 采用 Adam优化器实现所述深度神经网络视觉特征提取分支的权重参数的迭代优化与更新， 直至 双分支分类网络模型收敛， 获得初步双分支分类网络模型； 将所述测试集中的图像数据输入所述初步双 分支分类网络模型中进行测试， 确定所述 初步双分支分类网络模型 的精度， 当精度达到预设值时， 获得训练好的双分支分类网络模 型。 2.根据权利要求1所述的联合行道线几何先验的高速公路雾天能见度检测方法， 其特 征在于， 所述行道线检测分支包括resnet18、 第一全连接层和第二全连接层； 图像数据输入resnet18进行 行道线深度视 觉特征提取， 获得 行道线深度视 觉特征； 所述行道线深度视觉特征经第 一全连接层和第 二全连接层进行检测， 输出行道线检测 标签。 3.根据权利要求2所述的联合行道线几何先验的高速公路雾天能见度检测方法， 其特 征在于， 所述深度神经网络视觉特征提取分支包括残差块、 金字塔池化模块和路面区域注 意力模块； 所述图像数据输入残差块、 金字塔池化模块输出雾天图像的深度视 觉特征； 所述雾天图像的深度视觉特征和所述行道线深度视觉特征输入所述路面区域注意力 模块突出道路区域， 获得道路区域的视 觉特征。 4.根据权利要求3所述的联合行道线几何先验的高速公路雾天能见度检测方法， 其特 征在于， 所述路面区域注意力模块包括第一卷积层、 ReLU层、 第二卷积层和第三卷积层； 将所述雾天图像的深度视觉特征和所述行道线深度视觉特征在通道维度进行 concatenate操作后， 依次通过所述第一卷积层、 所述ReLU层、 所述第二卷积层和Sigmoid进权　利　要　求　书 1/3 页 2 CN 114627382 B 2行卷积操作， 得到空间注意力图； 将所述雾天图像的深度视觉特征输入所述第 三卷积层进行卷积， 获得非线性视觉特征 图； 将所述空间注意力图与所述非线性视觉特征图相乘进行特征的自适应学习后， 与非线 性视觉特征图进行像素求和， 得到道路区域的深度视 觉特征。 5.根据权利要求1所述的联合行道线几何先验的高速公路雾天能见度检测方法， 其特 征在于， 所述融合分类模块包括第三全连接层、 第四全连接层和第五全连接层： 对所述行道线检测标签进行切片去除非行道线标签得到128 ×28×4大小的第一特征 向量； 将所述第一特 征向量在通道范围上求和， 得到28 ×4大小的第二特 征向量； 将所述第二特征向量输入所述第三全连接层进行长度计算， 得到4条行道线的长度特 征向量， 所述长度特 征向量大小为1 ×4； 所述道路区域的视觉特征输入所述第四全连接层后， 与所述长度特征向量进行 concatenate操作， 再经过所述第四全连接层输出所述图像数据中的高速公路对应的雾天 能见度等级。 6.根据权利要求1所述的联合行道线几何先验的高速公路雾天能见度检测方法， 其特 征在于， 所述损失函数包括行道线检测损失函数和分类损失函数； 所述行道线检测损失函数为： 其中， 表示交叉熵损失， 表示第i 条行道线穿过图像像素点的第 j行的预测 标签值， 表示第i条行道线穿过图像像素点的第 j行的真实标签值， 表示行道线 检测损失函数， C表示行道线总条 数，h为图像像素点的总行 数， 为需要优化的参数； 所述分类损失函数为： 其中， 为第p个类别的真实值， yp为第p个类别的预测值， yq为第q个类别的预测值， G为 类别的总数， e为自然数， 为分类损失函数。 7.根据权利要求1所述的联合行道线几何先验的高速公路雾天能见度检测方法， 其特 征在于， 将所述训练集中的图像数据输入所述双分支分类网络模型中， 根据损失函数， 采用 Adam优化器实现所述深度神经网络视觉特征提取分支的权重参数的迭代优化与更新， 直至 双分支分类网络模型收敛， 获得初步双分支分类网络模型的步骤， 包括： 所述行道线检测分支采用预先训练好的权重参数， 对所述深度神经网络视觉特征提取 分支的权 重参数进行初始化；权　利　要　求　书 2/3 页 3 CN 114627382 B 3