(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111654294.6 (22)申请日 2021.12.31 (71)申请人 江苏理工学院 地址 213011 江苏省常州市中吴大道1801 号 (72)发明人 李波　杭陶阳　赵齐贤　周丹　 周鑫烨　高陈诚　朱芸海　倪曦　 吴凡　贝绍轶　 (74)专利代理 机构 南京正联知识产权代理有限 公司 32243 代理人 杭行 (51)Int.Cl. G06T 3/40(2006.01) G06T 7/11(2017.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 一种超分辨网络模型及其应用 (57)摘要 本发明属于智能交通自动驾驶领域， 本发 明 公开了一种超分辨率网络模型、 及利用该超分辨 率网络对道路进行语义分割， 其中， 该超分辨率 网络模型有两个模块构成， 模型一： 低分辨率卷 积模型； 模块二： 高分辨率卷积模型。 模块一对低 分辨率图像进行卷积， 模块二对高分辨率图像进 行卷积来弥补低分辨率图像损失的数据。 最后能 获得一个对道路进行分割的网络模 型。 之后对网 络模型进行训练， 并给出优化器， 学习率， 训练轮 次， 迭代轮次， 损失函数。 本发明提出的超分辨率 网络对图片进行语义分割， 对 过去的网络结构做 出了创新， 并有效提高了预测的准确值。 权利要求书1页 说明书3页 附图1页 CN 114298909 A 2022.04.08 CN 114298909 A 1.一种超分辨网络模型， 其特征在于， 包括低分辨率卷积模型和高分辨率卷积模型， 所 述低分辨率卷积模型由CSPDarknet53骨干网络、 Transform结构和超分辨率网络组成， 所述 高分辨率卷积模型由简单且少量的卷积层组成， 再传入低分辨率卷积模型的超分辨率网络 中。 2.根据权利要求1所述的超分辨网络模型， 其特征在于， 所述低分辨率卷积模型输入原 分辨率经过2倍下采样后的RGB图像： 首先原分辨率经过2倍下采样后的RGB图像传入 CSPDarknet53骨干网络， 生成维度为512分辨率为45*60的特征图， 经过Transform结构后再 重新转换为维度为32分辨率为45*60的特征层， 经过所述高分辨率卷积模型卷积生成维度 为32分辨 率为720*960的特征图。 3.一种基于超分辨率网络模型的道路图片语义分割方法， 其特征在于， 具体包括以下 步骤： S1： 设计生成超分辨 率网络模型； S2： 生成处 理数据并将数据输入设计好的超分辨 率网络模型； S3： 利用输入数据训练生成超分辨 率网络； S4： 利用验证数据对步骤S3中训练完成的超分辨率网络模型做验证； 如果验证结果理 想， 则可将此网络模型用于道路语义分割， 否则继续执 行S3直至验证结果理想 。 4.根据权利要求3所述的基于超分辨率网络模型的道路图片语义分割方法， 其特征在 于， 所述所述 步骤S2的具体实现包括如下： S2‑1： 收集一批高分辨 率图集； S2‑2： 在图集上对目标物体进行 标注并给 出具体类别。 5.根据权利要求3所述的基于超分辨率网络模型的道路图片语义分割方法， 其特征在 于， 所述S3的具体实现包括如下步骤： S3‑1： 将原分辨率图片作 为高分辨率卷积模型输入， 将原分辨率图片进行2倍下采样作 为低分辨 率卷积模型输入； S3‑2:进行超分辨率网络模型的训 练： 使用pytorch框架作为代码框架对模型进行搭 建， 具体步骤如下： (1)数据获取： 在采集数据并对数据进行S2中所述数据处理后， 使用pytorch中的 Dataloader类采集数据传入 模型， 选取batc h为16， 4线程并行读取； (2)设计优化器与超参： 生成器与判别器均选取Adam优化器作 为模型优化器， 训练轮次 设置为30轮， 每训练一轮， 保存一次模型参数， 学习率设置为指数下降， 初始学习率为 0.002， 每轮次学习率设置如下： lr(epoch)＝0.002×0.8 epoch‑1 (3)设计损失函数： 采用BC E损失和C E损失函数作为网络损失函数。权　利　要　求　书 1/1 页 2 CN 114298909 A 2一种超分辨 网络模型及其应用 技术领域 [0001]本发明属于智能交通自动驾驶领域， 具体地说， 是一种基于超分辨网络模型及其 应用。 背景技术 [0002]语义分割是一项基础的计算机视觉任务， 其目的是对图片中的每个像素点进行分 类， 在智能驾驶、 医学成像和位姿解析等领域都有着广泛的运用。 在智能驾驶领域中， 语义 分割在保持 高准确率的同时还需要保持检测的实时性， 但是在硬件设施有限的应用上高精 度网络无法投入使用， 识别的延迟也很大。 经典语义分割网络通常需要使用高分辨率图集 训练来达到高准确度， 高分辨率图片能够有效传递图片中的特征， 方便网络学习， 因此高分 辨率特征在网络在高精度网络中十 分重要。 目前， 有两条主线来保持高分辨率的表现， 一种 是使用空洞卷积来维持高分辨率特征， 另一种方法是通过结合自上而下的路径和横向连 接。 但这些方法本身就 非常消耗计算资源， 在此基础之上再以高分辨率图片作为输入， 会进 一步增加网络计算 量， 同时也会增 加图片分割时间。 发明内容 [0003]为解决上述问题， 本发明提出一种基于超分辨网络模型及其应用。 本发明在超分 辨率网络中加入了高分辨率卷积网络， 利用高分辨率图像卷积来弥补低分辨率图像缺失的 语义信息， 并且使用Transform来获取比普通卷积更 大的感受野。 [0004]本发明采用的具体技 术方案如下： 一种基于超分辨网络模型， 具体设计包括： 低分辨率卷积模型和高分辨率卷积模 型， 所述低分辨率卷积模型由CSPDarknet53骨干网络、 Transform结构和超分辨率网络组 成， 所述高分辨率卷积模型 由简单且少量的卷积层组成， 再传入低分辨率卷积模型 的超分 辨率网络中。 [0005]本发明的进一步改进， 低分辨率卷积模型输入原分辨率经过2倍下采样后的RGB图 像： 首先原分辨率经过2倍下采样后的RGB图像传入CSPDarknet53骨干网络， 生 成维度为512 分辨率为45*60的特征图， 经过Transform结构后再重新转换为维度为32分辨率为45*60的 特征层， 经过所述高分辨 率卷积模型 卷积生成维度为32分辨 率为720*960的特征图。 [0006]上述基于超分辨网络模型的应用： 一种基于超分辨率网络模型的道 路图片语义分 割方法， 具体包括以下步骤： S1： 设计生成超分辨 率网络模型； S2： 生成处 理数据并将数据输入设计好的超分辨 率网络模型； S3： 利用输入数据训练生成超分辨 率网络； S4： 利用验证数据对步骤S3中训练完成的超分辨率网络模型做验证； 如果验证结 果理想， 则可将此网络模型用于道路语义分割， 否则继续执 行S3直至验证结果理想 。 [0007]所述所述 步骤S2的具体实现包括如下：说　明　书 1/3 页 3 CN 114298909 A 3