(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210660658.X (22)申请日 2022.06.13 (71)申请人 常州大学 地址 213000 江苏省常州市武进区湖塘镇 滆湖中路21号 (72)发明人 徐守坤　钟梅嘉　李宁　庄丽华　 石林　袁宝华　刘毅　黄河　 顾玉宛　王雪元　 (74)专利代理 机构 常州市英 诺创信专利代理事 务所(普通 合伙) 32258 专利代理师 张秋月 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 基于深度学习的道路裂缝检测方法 (57)摘要 本发明公开了一种基于深度学习的道路裂 缝检测方法， 包括： 获取多个道路裂缝图片， 将多 个所述道路裂缝图片划分为训练集、 验证集和测 试集； 搭建U ‑Net网络， 所述U ‑Net网络具有编码 部分和解码 部分， 编码部分和解码部分各有5层； 利用边缘细化模块取代所述编码部分中传统的 双层卷积结构， 每层包含3个边缘细化模块， 在所 述U‑Net网络的底部设计基于注意力机制的多尺 度融合模块， 在所述解码部分的第2、 3、 4层分别 设计融合优 化模块， 得到改进U ‑Net网络； 将训练 集和验证集加载到 所述改进U ‑Net网络进行训练 和验证， 保存效果最好的模型； 用所述效果最好 的模型对所述测试集中的道路裂缝图片进行测 试， 得到测试结果。 它可 以减少道路裂缝漏检误 检现象。 权利要求书3页 说明书8页 附图3页 CN 115035065 A 2022.09.09 CN 115035065 A 1.一种基于深度学习的道路裂缝检测方法， 其特 征在于， 包括： 获取多个道路裂缝图片， 将多个所述道路裂缝图片划分为训练集、 验证集和 测试集； 搭建U‑Net网络， 所述U ‑Net网络具有编码部分和解码部分， 编码部分和解码部分各有5 层； 利用边缘细化模块取代所述编码部分中传统的双层卷积结构， 每层包含3个边缘细化 模块， 在所述U ‑Net网络的底部 设计基于注意力机制的多尺度融合模块， 在所述解码部 分的 第2、 3、 4层分别设计融合优化模块， 得到改进 U‑Net网络； 将训练集和验证集加载到所述改进 U‑Net网络进行训练和验证， 保存效果 最好的模型； 用所述效果 最好的模型对所述测试集中的道路裂缝图片进行测试， 得到测试 结果。 2.根据权利要求1所述的基于深度学习的道路裂缝检测方法， 其特 征在于， 在所述将多个所述道路裂缝图片划分为训练集、 验证集和 测试集前， 还 包括： 将所述道路裂缝图片裁 剪为统一尺寸大小。 3.根据权利要求1所述的基于深度学习的道路裂缝检测方法， 其特 征在于， 每个所述边缘细化模块的工作方法包括： 步骤A1： 输入所述边缘细化模块的特征x∈RH×W×C在经过1×1卷积后被均匀的分为n个 特征子集xi， 其中第i个子集xi∈{1,2,. ..,n}， 每个子集xi通道数均为C /n； xi∈{2,3,. ..,n}经过对应的3 ×3卷积， 输出为yi∈{1,2,. ..,n}： 其中， C指的是输入边缘细化模块的特征的通道数， Conv( ·)表示进行卷积核为3 ×3的 卷积操作； 步骤A2： yi∈{1,2,...,n}组合后通过1 ×1的卷积恢复为原始通道数， 并输出特征y∈RH ×W×C； 步骤A3： 输出的特征y∈ RH×W×C经过通道注意力CAM模块， 输出的特征y∈RH×W×C在所述通 道注意力CAM模块内进行以下处 理： 先经过全局平均池化聚合全局特 征； 然后卷积运 算调整通道权 重； W＝σ(Con'(yavg))    (3) 最后将权 重W与输入通道 注意力CAM模块的特 征y∈RH×W×C相乘； 其中， yi,j∈RC是全通道特征， Con'( ·)代表大小为K的一维卷积， σ 代表Sigmoid激活函 数； 步骤A4： 通过残差连接将所述通道注意力CAM模块输出特征与原始输入所述边缘细化 模块的特 征x∈RH×W×C进行融合： x＝W·y+x    (4)。权　利　要　求　书 1/3 页 2 CN 115035065 A 24.根据权利要求1所述的基于深度学习的道路裂缝检测方法， 其特 征在于， 所述基于注意力机制的多尺度融合模块的工作方法包括： 步骤B1： 将编码部分的前两层编码层输出的特征图分别经过1 ×1卷积操作变换通道后 通过池化得到相同尺度和通道数的特征图， 将两个所述具有相同尺度和通道数的特征图融 合， 得到融合特 征图； f1'＝w(f(f1))    (5) f2'＝w(f(f2))    (6) f12＝Cat(f1',f2')    (7) 其中， f1， f2分别表示前两个编码层的输出， f( ·)表示用1 ×1的卷积核进行卷积操作， w (·)表示池化操作， Cat( ·)表示特征在通道维度上的叠加； 步骤B2： 将融合特征图与编码器的最后一层编码层输出的特征图融合， 最后输出多尺 度融合特 征图f∈RH×W×C: f＝Cat(f12,f5)    (8) 其中， f5表示最后一层编码层的输出； 步骤B3： 将输出的多尺度融合特征 图经过三个卷积操作分别得到 fφ、 fγ， 其维度均 为RH×W×C,然后将 fφ、 fγ分别进行reshape操作： fφ＝flat(Wφ(f))    (10) fγ＝flat(Wγ(f))    (11) 其中， Wφ， Wγ为三个卷积 操作， flat( ·)表示将图像特 征重塑； 步骤SB4： 将 转置后与fφ相乘得到矩阵， 对矩阵的每个点进行softmax操作得到空间 注意力特 征S∈RN×N： 其中， σ 表示Softmax激活函数， N ＝H×W； 步骤SB5： 空间注意力特征S与fγ相乘后重塑为RC×H×W， 与多尺度融合特征图f∈ RH×W×C进 行融合得到最终的解码部分输入特 征图fz： fZ＝σ(flat(fγ·S))+f    (13)。 5.根据权利要求1所述的基于深度学习的道路裂缝检测方法， 其特 征在于， 每个所述融合优化模块的工作方法包括： 步骤SC1： 特征F1经过通道注意力模块CAM后与依次经过pixel ‑shuffle上采样、 扩张率 为2的空洞卷积和位置注意力模块PAM的特 征F2进行通道拼接， 得到融合特 征： 其中， 特征F1∈RH×W×C是低层语义信息； 特征F2是高层语义信息， 为卷积核大小 为3， 扩张率为2的空洞卷积， P( ·)表示特征通过位置注意力模块PAM进行操作， E( ·)表示 特征通过通道注意力模块CAM进行操作， pix( ·)表示pixel ‑shuffle上采样， Cat( ·)表示 特征在通道维度上的叠加； 步骤SC2： 将所述融合特 征用扩张率 为2的空洞卷积增大感受野后进行 卷积操作输出 FZ：权　利　要　求　书 2/3 页 3 CN 115035065 A 3