(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210555996.7 (22)申请日 2022.05.20 (65)同一申请的已公布的文献号 申请公布号 CN 114742848 A (43)申请公布日 2022.07.12 (73)专利权人 深圳大学 地址 518000 广东省深圳市南 山区粤海街 道南海大道3 688号 (72)发明人 岳广辉　魏佩珊　周恒　武泓吕　 周天薇　汪天富　 (74)专利代理 机构 深圳市精英专利事务所 44242 专利代理师 李珂 (51)Int.Cl. G06T 7/11(2017.01) G06T 7/194(2017.01) G06T 7/00(2017.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 113838047 A,2021.12.24 CN 113538313 A,2021.10.2 2 CN 113989301 A,202 2.01.28 CN 110188765 A,2019.08.3 0 US 2021248751 A1,2021.08.12 Xiao Chen et al. .A DUAL-AT TENTION DILATED RESIDUAL NETWORK FOR L IVER LESION CLASSIFICATION AND LOCAL IZATION ON CT IMAGES. 《IE EE》 .2019, 徐宏伟 等.基 于残差双注意力U-Net模型的 CT图像囊肿肾脏自动分割. 《计算机 应用研究》 .2020,第37 卷(第7期), 审查员 宋晓毓 (54)发明名称 基于残差双重注 意力的息肉图像 分割方法、 装置、 设备及 介质 (57)摘要 本发明实施例公开了一种基于残差双重注 意力的息肉图像分割方法、 装置、 设备及介质。 本 发明涉及图像处理技术领域， 其包括： 获取内窥 镜图像， 并对内窥镜图像进行特征提取， 得到多 个低层特征及多个高层特征， 其中， 多个低层特 征包括第一低层特征、 第二低 层特征以及第三低 层特征； 将多个高层特征及第三低层特征进行特 征增强融合得到全局特征； 根据全局特征、 多个 高层特征以及第三低层特征通过残差双重注意 力方法进行残差双重注意力学习得到目标残差 双重注意力特征； 将卷积及上采样后的目标残差 双重注意力特征输入激活函数以得到息肉分割 图。 本申请实施例可提高息肉图像的分割准确 率。 权利要求书3页 说明书13页 附图6页 CN 114742848 B 2022.11.29 CN 114742848 B 1.一种基于残差双重注意力的息肉图像分割方法， 应用于构建的息肉分割模型， 其特 征在于， 包括： 获取内窥镜 图像， 并对所述内窥镜 图像进行特征提取， 得到多个低层特征及多个高层 特征， 其中， 所述多个低层特征包括第一低层特征、 第二低层特征以及第三低层特征， 所述 多个高层特 征包括第一高层特 征及第二高层特 征； 将所述多个高层特 征及所述第三低层特 征进行特征增强融合得到全局特 征； 将下采样后的所述全局特征与所述第 二高层特征进行拼接得到输入特征， 并将所述输 入特征及所述第二高层特 征分别作为当前 上级输入特 征及当前输入特 征； 对所述当前上级输入特征依次进行双分支卷积、 相加、 激活以及像素反转处理得到前 景注意力图及背景注意力图； 根据所述当前输入特征对所述前景注意力图及所述背景注意力图进行残差双重注意 力学习得到前 景特征及背景 特征； 根据所述前景特征及所述背景特征依次进行拼接、 卷积、 空间注意力学习以及逐像素 相乘后得到残差特征， 将所述残差特征与上采样后的所述当前上级输入特征逐像素相加得 到第一残差双重注意力特 征； 将上采样后的所述第一残差双重注意力特征与所述第一高层特征进行拼接得到所述 输入特征， 并将所述输入特征及所述第一高层特征分别作为所述当前上级输入特征及所述 当前输入 特征， 返回执行所述对 所述当前上级输入 特征依次进 行双分支卷积、 相加、 激活以 及像素反转处理得到前景注意力图及背景注意力图的步骤， 直至得到第二残差双重注意力 特征； 将上采样后的所述第二残差双重注意力特征与所述第三低层特征进行拼接得到所述 输入特征， 并将所述输入特征及所述第三低层特征分别作为所述当前上级输入特征及所述 当前输入 特征， 返回执行所述对 所述当前上级输入 特征依次进 行双分支卷积、 相加、 激活以 及像素反转处理得到前景注意力图及背景注意力图的步骤， 直至得到第三残差双重注意力 特征， 将所述第三残差双重注意力特 征作为目标残差双重注意力特 征； 将卷积及上采样后的所述目标残差双重注意力特 征输入激活函数以得到 息肉分割图。 2.根据权利要求1所述的方法， 其特征在于， 所述多个高层特征包括第 一高层特征及第 二高层特征， 所述将所述多个高层特征及所述第三低层特征进行特征增强融合得到全局特 征的步骤， 包括： 将所述第一高层特征、 所述第 二高层特征以及所述第 三低层特征均输入感受野模块扩 大感受野； 将扩大感受野后的所述第三低层特征输入通道注意力模块进行通道学习得到目标低 层特征， 并将所述目标低层特征及 扩大感受野后的所述第三低层特征进 行融合处理得到增 强低层特 征； 根据所述增强低层特征及扩大感受野后的所述第一高层特征及第二高层特征通过所 述通道注意力模块及部分编码模块进行 特征融合得到全局特 征。 3.根据权利要求2所述的方法， 其特征在于， 所述根据所述增强低层特征及扩大感受野 后的所述第一高层特征及第二高层特征通过所述通道注意力模块及部分编码模块进行特 征融合得到全局特 征， 包括：权　利　要　求　书 1/3 页 2 CN 114742848 B 2将所述增强低层特征下采样后与扩大感受野后的所述第 一高层特征进行拼接， 拼接后 再进行卷积及上采样得到第一目标高层特 征； 将所述第一目标高层特征输入所述通道注意力模块进行通道学习得到第一目标通道 高层特征， 并将所述第一目标通道高层特征及所述第一目标高层特征进 行特征融合处理得 到第一增强高层特 征； 将所述第一增强高层特征及所述增强低层特征下采样后与扩大感受野后的所述第二 高层特征进行拼接， 拼接后再进行 卷积及上采样得到第二目标高层特 征； 将所述第二目标高层特征输入所述通道注意力模块进行通道学习得到第二目标通道 高层特征， 并将所述第二目标通道高层特征及所述第二目标高层特征进 行特征融合处理得 到第二增强高层特 征； 将所述增强低层特征、 所述第 一增强高层特征以及所述第 二增强高层特征输入部分编 码模块进行 特征融合处 理得到全局特 征。 4.根据权利要求1所述的方法， 其特征在于， 所述对所述当前上级输入特征依次进行双 分支卷积、 相加、 激活以及像素反转处 理得到前 景注意力图及背景注意力图， 包括： 对所述当前 上级输入特 征进行双分支卷积得到第一注意力图及第二注意力图； 将所述第一注意力图及所述第二注意力图相加后输入所述激活函数得到前景注意力 图； 将所述前 景注意力图进行像素反转得到背景注意力图。 5.根据权利要求1所述的方法， 其特征在于， 所述根据所述当前输入特征对所述前景注 意力图及所述背景注意力图进行残差双重注意力学习得到前 景特征及背景 特征， 包括： 将所述当前输入特征与所述前景注意力图逐像素相乘之后， 与 所述当前输入特征相加 得到前景特征； 将所述当前输入特征与所述背景注意力图逐像素相乘之后， 进行像素反转处理后再与 所述当前输入特 征相加得到背景 特征。 6.根据权利要求1所述的方法， 其特征在于， 所述根据所述前景特征及所述背景特征依 次进行拼接、 卷积、 空间注意力学习以及逐像素相乘后得到残差特征， 将所述残差特征与上 采样后的所述当前 上级输入特 征逐像素相加得到第一残差双重注意力特 征， 包括： 将所述前 景特征及所述背景 特征进行拼接之后， 进行 卷积得到前后景融合特 征； 通过空间注意力模块对所述前后景融合特征进行空间注意力学习得到前后景空间注 意力特征； 将所述前后景融合特 征与所述前后景空间注意力特 征逐像素相乘得到残差特 征； 将所述残差特征及上采样后的所述当前上级输入特征逐像素相加得到第一残差双重 注意力特 征。 7.一种基于残差双重注意力的息肉图像分割装置， 应用于构建的息肉分割模型， 其特 征在于， 包括： 特征提取单元， 用于获取内窥镜图像， 并对所述内窥镜图像进行特征提取， 得到多个低 层特征及多个高层特征， 其中， 所述多个低层特征包括第一低层特征、 第二低层特征以及第 三低层特 征， 所述多个高层特 征包括第一高层特 征及第二高层特 征； 增强融合单元， 用于将所述多个高层特征及所述第 三低层特征进行特征增强融合得到权　利　要　求　书 2/3 页 3 CN 114742848 B 3