(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210366311.4 (22)申请日 2022.04.08 (71)申请人 重庆邮电大 学 地址 400065 重庆市南岸区南 山街道崇文 路2号 (72)发明人 赵志强　徐晓文　高新政　陶于祥　 陈霖　王正军　崔一辉　王昆　 (74)专利代理 机构 重庆辉腾律师事务所 5 0215 专利代理师 王诗思 (51)Int.Cl. G06T 7/13(2017.01) G06T 5/50(2006.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/80(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于深度学习的暗视觉及低照度图像 边缘检测方法 (57)摘要 本发明公开一种基于深度学习的暗视觉及 低照度图像边缘检测方法， 所述方法包括获取暗 视觉/低照度图像； 将暗视觉/低照度图像输入到 预训练后的初级子网中， 提取出多个边缘特征 图， 并形成第一边缘特征； 将暗视觉/低照度图像 与第一边缘特征输入到边缘增强模块中； 将边缘 增强后的暗视觉/低照度图像输入到次级子网 中， 提取出多个边缘特征图； 将初次子网产生的 第一边缘特征和多个边缘特征图与次级子网产 生的多个边缘特征图进行特征图融合， 得到暗视 觉/低照度图像的边缘检测 效果； 本发明可在训 练过程中， 结合实时参数， 对暗视觉/低照度图像 的边缘增强效果进行动态调整， 能有效地拉伸图 像灰度级分布范围， 较好地保留暗视觉/低照度 图像的边 缘特征。 权利要求书2页 说明书12页 附图4页 CN 114693712 A 2022.07.01 CN 114693712 A 1.一种基于深度学习的暗视觉及低照度图像边缘检测方法， 其特征在于， 所述方法步 骤包括： 获取暗视 觉/低照度图像， 并对所述取暗视 觉/低照度图像进行 预处理； 将暗视觉/低照度图像输入到预训练后的初级子网中进行边缘检测， 提取出多个边缘 特征图， 并经 过上采样后形成第一 边缘特征； 将所述暗视觉/低照度图像与对应的所述第一边缘特征输入到边缘增强模块中， 对所 述暗视觉/低照度图像边 缘增强； 将边缘增强后的暗视觉/低照度图像输入到次级子网中进行边缘检测， 提取出多个边 缘特征图； 将初次子网产生的第一边缘特征和多个边缘特征图与次级子网产生的多个边缘特征 图进行特征图融合， 得到暗视 觉/低照度图像的边 缘检测效果。 2.根据权利要求1所述的一种基于深度学习的暗视觉及低照度图像边缘检测方法， 其 特征在于， 所述将暗视觉/低照度图像输入到预训练后的初级子网中进 行边缘检测， 提取出 多个边缘特征 图， 并经过上采样后形成第一边缘特征包括在所述初级子网中， ι1个初级特 征提取模块和 ι2个复合特征提取模块产生 ι1+ ι2个边缘特征， 将 ι1+ ι2个边缘特征输入自适应 边缘尺度提取模块， 提 取边缘特征的自适应 边缘尺度， 并 融合尺度和边缘 特征， 得到 ι1+ ι2个 边缘特征图， 对 ι1+ ι2个边缘特征图上采样后， 按照通道拼接输入深度特征融合模块， 得到第 一边缘特征。 3.根据权利要求1所述的一种基于深度学习的暗视觉及低照度图像边缘检测方法， 其 特征在于， 所述将边缘增强后的暗视觉/低照度图像输入到次级子网中进 行边缘检测， 提取 出多个边缘特征图包括在所述次级子网中， ι3个复合特征提取模块产生 ι3个边缘特征， 将 ι3 个边缘特征输入自适应边缘尺度提取模块， 提取边缘特征 的自适应边缘尺度， 并融合尺度 和边缘特征， 得到 ι3个边缘特征图。 4.根据权利要求1所述的一种基于深度学习的暗视觉及低照度图像边缘检测方法， 其 特征在于， 所述将初次子网产生的第一边缘特征和多个边缘特征图与次级子网产生的多个 边缘特征图进行特征图融合， 得到暗视觉/低照度图像的边缘检测效果包括在所述初级子 网中， ι1个初级特征提取模块和 ι2个复合特征提取模块产生 ι1+ι2个边缘特征， 将 ι1+ι2个边 缘特征输入自适应边缘尺度提取模块， 提取边缘特征 的自适应边缘尺度， 并融合尺度和边 缘特征， 得到ι1+ι2个边缘特征图， 对ι1+ι2个边缘特征图上采样后， 按照通道拼接输入深度 特征融合模块， 得到第 一边缘特征； 在所述次级子网中， ι3个复合特征提取模块产生 ι3个边 缘特征， 将 ι3个边缘特征输入自适应边缘尺度提取模块， 提取边缘特征的自适应边缘尺度， 并融合尺度和边缘特征， 得到ι3个边缘特征图； 将初级子网产生的ι1+ι2个边缘特征图以及 第一边缘特征， 以及次级子网产生的ι3个边缘特征图， 也即 ι1+ ι2+1+ ι3个边缘特征图上采样 的结果， 按通道拼接后， 输入次级子网的深度特征融合模块， 得到深度边缘特征； 基于边缘 损失函数分别计算ι1+ι2+1+ι3个边缘特征图和所述深度边缘特征与边缘label之间的边缘 损失； 当所述边缘损失收敛时， 次级子网的深度特征融合模块的输出为最终的边缘检测结 果。 5.根据权利要求2 ‑4任一所述的一种基于深度学习的暗视觉及低照度图像边缘检测方 法， 其特征在于， 所述复合特征提取模块由全局特征提取网络和局部特征提取网络组成， 所权　利　要　求　书 1/2 页 2 CN 114693712 A 2述局部特征提取网络的输入以残差的形式映射到当前复合特征提取模块的尾部， 或者其他 复合特征提取模块的尾部和输出相加； 所述全局特征提取网络的输出以残差的形式映射到 所述局部特征提取网络内部的不同位置， 分别和所述局部特征提取网络的多个中间输入相 加； 基于所述全局特征提取网络提取输入特征图的全局特征， 基于所述局部特征提取网络 提取输入特征图的局部特征， 所述局部特征提取网络由ι4个卷积层组成， 其中ι4是正整数， 所述全局特 征提取网络由ι5个空间自注意力层组成， 其中 ι5是正整数。 6.根据权利要求2 ‑4任一所述的一种基于深度学习的暗视觉及低照度图像边缘检测方 法， 其特征在于， 所述自适应边缘尺度提取模块由ι6个通道自注意力层组成， 用于提取任意 边缘特征所对应的边缘尺度， 融合所述边缘尺度和对应的边缘特征， 得到边缘特征图； 其中 ι6为正整数。 7.根据权利要求2 ‑4任一所述的一种基于深度学习的暗视觉及低照度图像边缘检测方 法， 其特征在于， 所述深度特征 融合模块由ι7个卷积层组成， 用于将输入的多尺度边缘特征 图整合成深度边 缘特征， 其中 ι7是正整数。 8.根据权利要求1所述的一种基于深度学习的暗视觉及低照度图像边缘检测方法， 其 特征在于， 边 缘增强模块对所述暗视 觉/低照度图像边 缘增强的过程包括： 利用梯度算子提取 出暗视觉/低照度图像沿水平方向和垂直方向的梯度图； 利用梯度算子提取 出第一边缘特征沿水平方向和垂直方向的梯度图； 基于对应方向的梯度图分别计算出第 一边缘特征和暗视觉/低照度图像像素之间的相 似度， 得到相似度矩阵； 将相似度矩阵和暗视觉/低照度图像逐像素相乘， 得到增强边缘后的暗视觉/低照度图 像。 9.根据权利要求8所述的一种基于深度学习的暗视觉及低照度图像边缘检测方法， 其 特征在于， 基于对应方向的梯度图分别计算出第一边缘特征和暗视觉/低照度图像像素之 间的相似度， 得到相似度矩阵包括： Similarity(X1,X2)＝1‑Fnorm(Distance(X1,X2)) 其中， Distance( ·)为像素的欧式距离， X1和X2表示计算相似度的两个像素， x表示像素 沿水平方向的梯度， y表示像素沿垂直方向的梯度， Similarity(X1,X2)表示像素X1和X2的相 似度， Fnorm表示归一 化。 10.根据权利要求1所述的一种基于深度学习的暗视觉及低照度图像边缘检测方法， 其 特征在于， 将预训练后的初级子网、 边缘增强模块串 联在一起， 组成一个完整的暗视觉及低 照度边缘检测网络， 计算出每个单尺度边缘特征和边缘标签之间的Dice相似度， 将该Dice 相似度作为自适应参数构建出加权交叉熵损失， 直至所述加权交叉熵损失收敛， 完成对 暗 视觉及低照度边 缘检测网络的训练。权　利　要　求　书 2/2 页 3 CN 114693712 A 3