(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111675064.8 (22)申请日 2021.12.31 (71)申请人 长沙理工大 学 地址 410114 湖南省长 沙市天心区万家丽 南路二段96 0号 (72)发明人 陈立福　蔡兴敏　邢学敏　李振洪　 袁志辉　罗汝　 (74)专利代理 机构 湖南兆弘专利事务所(普通 合伙) 43008 专利代理师 赵朕毅 (51)Int.Cl. G06V 20/05(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于可解释性深度学习的SAR图像水体检测 方法及系统 (57)摘要 本发明公开了一种基于可解释性深度学习 的SAR图像水体检测方法及系统， 包括： 骨干网络 对SAR图像进行特征提取获得低层级、 高层级特 征图， 特征融合模块将其融合获得水体特征检测 结果； 局部归因单元对SAR图像进行局部归因解 释， 输出归因可视化图和整体正向归因， 采用地 面真值对整体正向归因进行掩膜， 获得特定类正 向归因， 并计算特定类正向归因占比和正向归因 交集比； 全局归因映射单元计算全局特定类正向 归因占比和全局正向归因交集比， 并对所有局部 归因结果排名量化骨干网络性能； 特定类语义激 活映射模块通过高层级特征图输出卷积层热力 图， 用于了解最终归因， 本发明更好对比并解释 骨干网络的特征提取能力， 通过可视化更清晰了 解特征归因。 权利要求书4页 说明书16页 附图8页 CN 115100511 A 2022.09.23 CN 115100511 A 1.一种基于可解释性深度 学习的SAR图像水体检测方法， 其特征在于， 包括针对多种备 选的骨干网络Backbone， 采用解释性深度学习网络框架来选择最优的骨干网络Backb one， 且所述解释性深度学习网络框架包括水体特征提取网络、 局部全局混合归因模块LGMA以及 特定类语义激活映射模块SSAM， 所述水体特征提取网络， 包括骨干网络Backbone和特征融 合模块， 所述骨干网络Backbone用于对输入的SAR图像进行特征提取获得一个低层级特征 图和一个高层级 特征图， 所述特征融合模块用于将低层级 特征图和高层级 特征图融合获得 最终输出的SAR图像水体特征检测结果； 所述局 部全局混合归因模块LGMA包括局部归因单 元LayerGradCAM和全局归因映射单元GAM， 所述局部归因单元LayerGradCAM用于对输入的 SAR图像进行局 部归因解释， 输出归因可视化图和整体正 向归因OPA， 进而采用地面真值GT 的标签对局部归因解释得到的正向归因进 行掩膜， 获得特定类正向归因SPA， 并根据整体正 向归因OPA、 特定类正向归因SPA以及地面真值GT的标签计算骨干网络的特定类正向归因占 比PSPA和正 向归因交集比IOPA， 所述全局归因映射单元GAM用于根据骨干网络的特定类正 向归因占比PSPA和正向归因交集比IOPA计算得到全局特定类正向归因占比GPSPA和全局正 向归因交集比GIOPA， 以及对包括整体正向归因OPA、 特定类正向归因SPA在内的所有局部归 因进行加权联合排名获取全局归因解释以量化骨干网络Backbone的检测性能； 所述特定类 语义激活映射模块SSAM， 用于选取水体特征提取网络的高层级 特征图输出卷积层进 行热力 图可视化， 获取各个骨干网络Backbone在水体提取过程中的关注区域以用于了解最终归 因。 2.根据权利要求1所述的基于可解释性深度学习的SAR图像水体检测方法， 其特征在 于， 所述特征融合模块包括空洞空间卷积池化金字塔模块ASPP以及解码模块， 所述空洞空 间卷积池化金字塔模块ASPP用于对高层级特征图进行多尺度上下文信息提取得到多尺度 特征， 所述解码模块用于对低层级特征图和多尺度特征进行解码操作获得最终输出的SAR 图像水体特 征检测结果。 3.根据权利要求2所述的基于可解释性深度学习的SAR图像水体检测方法， 其特征在 于， 所述解码模块对低层级特征图和多尺度特征进行解码操作获得最终输出的SAR图像水 体特征检测结果的步骤包括： 通过1 ×1卷积对多尺度特征进 行通道降维， 然后再进 行4倍上 采样， 得到第一多尺度特征； 对低层级特征图进行1 ×1卷积降维后与经过第一多尺度特征 融合， 得到包含语义特征和细粒度特征 的融合特征； 最后应用一个3 ×3卷积来细化融合特 征并进行双线性 4倍上采样得到最终的SAR图像水体特 征检测结果。 4.根据权利要求3所述的基于可解释性深度学习的SAR图像水体检测方法， 其特征在 于， 所述局部归因单元LayerGradCAM对输入的SAR图像进行局部归因解释， 输出归因可视化 图和整体正向归因OPA的步骤 包括： S1、 针对骨干网络Backbone输出的高层级特征图XH∈R1×N×H×W， 在XH的N个特征图中， 对 于第i行第j列的特定类像素预测分数， 通过Argmax函数获得数值最大的特征图索引值， 返 回包含索引坐标的特征Xmax∈R1×1×H×W， 其中N表示特征图的个数， H、 W、 C分别表示特征图的 长、 宽和通道数， R表示实数域； S2、 根据高层级特征图XH∈R1×N×H×W创建相同维度的零值张量， 然后根据Xmax的索引坐标 在零值张量的相应特征图的对应位置补充为1， 其他值为0， 生成包含重要特征信息索引的 二值特征， 采用二值特征对高层特征XH进行掩膜， 突出特定类像素预测分数， 只关注特定类权　利　要　求　书 1/4 页 2 CN 115100511 A 2像素的归因； S3、 针对掩膜后的归因特征， 设任意归因对象第i行第j列像素为类别c的特定类别分数 设为 表示第k个特征图上第i行第j列的像素值， 将掩膜后的特征中每个特征图 的预测分数 求和， 然后对 求导数获得对应梯度， 进而获得整个特征图上所有像素梯度 的均值， 获得权重因子 以表示第k个特征图的重要性， 且重要 性因子 的计算函数表达式 为： 上式中， H、 W分别表示特征图的长、 宽， Z＝H ×W表示特征图的面积， γ表示水体像素语 义索引值的像素， 为归因对象第i行第j列像素为类别c的分类分数， 为第k个特 征图； S4、 将表示第k个特征图的重要性的重要性因了 与对应的特征图相乘， 并对所有特征 图求和生成局部解释归因， 且生成局部解释归因的函数表达式为： 上式中， 表示局部解释归因， 表示代表第k个特征图的重要性的权重 因子， Ak表示第k个特 征图； S5、 针对生成的局部解释归因， 采用ReLU激活函数生成整体正向归因OPA， 其函数表达 式为： OPA＝ReLU(at tributions)， 上式中， ReLU表示ReLU激活函数， 用于进行正向归因筛选； attributions表示局部解释 归因 5.根据权利要求4所述的基于可解释性深度学习的SAR图像水体检测方法， 其特征在 于， 所述局部归因单元LayerGradCAM采用标签GT对局部归因解释得到的正向归因进行掩 膜， 获得特定类正向归因S PA的函数表达式为： SPA＝ReLU(at tributions)∩Pixel(GT)IV＝1， 上式中， ReLU表示ReLU激活函数， 用于进行正向归因筛选； attributions表示局部解释 归因 IV为索引值， 且采用XIV＝表示X中像素索引值为1的区域的正向归因， Pixel(GT)IV＝1表示地面真值GT的标签中像素索引值为1 的水体部分的像素， GT表示地面真 值GT的标签； 所述局部归因单元LayerGradCAM根据整体正向归 因OPA、 特定类正向归因SPA以及地面 真值GT的标签计算骨干网络的特定类正 向归因占比PSPA和正 向归因交集比IOPA的函数表 达式为： 上式中， ReLU表示ReLU激活函数， 用于进行正向归因筛选； attributions表示局部解释 归因 IV为索引值， 且采用XIV＝1表示X中像素索引值为1的区域的正向归因， Pixel(GT)IV＝1表示地面真值GT的标签中像素索引值为1 的水体部分的像素， GT表示地面真权　利　要　求　书 2/4 页 3 CN 115100511 A 3