(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210588370.6 (22)申请日 2022.05.27 (71)申请人 中国地质大 学 （武汉） 地址 430000 湖北省武汉市洪山区鲁磨路 388号 申请人 华中科技大 学同济医学院附属同济 医院 (72)发明人 文龙　仇丽茹　罗小平　王优　 (74)专利代理 机构 武汉知产时代知识产权代理 有限公司 42 238 专利代理师 万文广 (51)Int.Cl. G06T 7/00(2017.01) G06T 5/50(2006.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于注意力机制的循环一致性对抗网络的 肺炎检测方法 (57)摘要 本发明提供了一种基于注意力机制的循环 一致性对抗网络的肺炎检测方法， 包括图像合成 和图像检测步骤； 合成模块由AttenCycleGAN构 成， 包括： 随机数据增强单元、 注意力引导合成的 生成器和判别器； 检测模块包括： 自动数据增强 单元、 特征提取单元、 基于注意力引导的数据增 强单元、 BAP特征融合单元； 利用图像模型对肺炎 X光射线进行合成以实现数据集的扩充： 将正常 的图像输入合成模块中， 经生 成器得到合成的肺 炎X光射线 图像， 并增加到肺部医学原始图像得 到扩充后的肺部医学数据集； 然后输入至检测模 块， 得到最终的肺部X射线图像。 本发明极大地提 高了基于注 意力卷积神经网络的肺炎X射线图像 检测模型的性能， 同时提高了肺炎检测的精度和 效率。 权利要求书3页 说明书7页 附图2页 CN 115035055 A 2022.09.09 CN 115035055 A 1.一种基于注意力机制的循环一致性对抗网络的肺炎检测方法， 其特征在于， 包括以 下步骤： S1： 构建检测模型， 所述检测模型包括： 肺炎X光射线图像合成模块和肺炎X射线图像检 测模块； 所述肺炎X光射线图像合成模块由基于注意力机制的循环一致性对抗成生成网络 构成， 所述肺炎X光射线图像合成模块包括： 随机数据增强单元、 注意力引导合成的生成器 和判别器； 所述肺炎X射线图像检测模 型包括： 自动数据增强单元、 特征提取单元、 基于注 意 力引导的数据增强单 元和BAP特 征融合单 元； S2： 利用所述检测模型实现对肺炎X光射线图像的检测： 将肺部医学原始图像输入至所 述肺炎X光射线图像合成模块， 得到合 成的肺炎X光射线图像， 并将所述合 成的肺炎X光射线 图像增加到肺部医学原 始图像得到扩充后的肺部医学 数据集； 将所述扩充后的肺部医学图像集输入至所述肺炎X射线图像检测模块， 得到最终的肺 炎X光射线图。 2.如权利要求1所述的基于注意力机制的循环一致性对抗网络的肺炎检测方法， 其特 征在于， 所述随机数据增强单元， 用于对输入的肺部医学原始图像进 行预处理， 预处理方法 包括： 中心裁 剪， 色彩抖动、 随机转动及其随机组合。 3.如权利要求1所述的基于注意力机制的循环一致性对抗网络的肺炎检测方法， 其特 征在于， 所述基于注意力机制的循环一致性对抗成生成网络包括： 两个注意力引导合成的 生成器和判别器， 其中， 两个生成器分别记作GAx和FAy， 两个判别器分别记作Dx和Dy； 生成器用于生成样本， 在训练中尽可能提高其生成能力， 能够无限逼近真实图像， 其 中， GAx用于学习源域X到目标域Y的映射， 将X域图像转换合成为Y域图像， 即GAx:X→Y； FAy用 于学习目标域Y 到源域X的映射， 将Y域图像转换合成为X域图像， 即FAy:Y→X； 判别器在训练中尽可能提高其识别能力， 能够准确识别生成的假图像， 其中， Dx用来判 断生成的样本是否属于X， Dy用来判断生 成的样本是否属于Y； 输入数据集为X域， Y域中的每 个图像x， y， 其中x， y服从数据分布为x～pdata(x)， x∈X且y～pdata(y)， y∈Y； 生成器和判别器在训练过程中是对抗博弈进行， 目标是在对抗学习过程中生成器能产 生相对好的输出； GAx和Dy的损失函数为公式一： FAy和Dx的损失函数为公式二： 其中， 损失函数 中的 是指在X域中取的样本， 是指从X域中取的样本； 和 是判别器Dy和Dx的损失； 和 是生成器GAx和GAy损失； 对于公式一， y表示Y域中取的样本， x表示从X域中取的样本， 而G(x)表示生成器GAx生成 的图片， Dy(y)表示判别器Dy判断y是否是Y域中取的样本的概率， 而Dy(G(x))表示判别器Dy 判断生成器GAx生成的图片是否是Y域中取的样本的概 率。 4.如权利要求1所述的基于注意力机制的循环一致性对抗网络的肺炎检测方法， 其特 征在于， 每一个生成器都添加了一个注意力网络， 注意力网络在源域和目标域之间具有判权　利　要　求　书 1/3 页 2 CN 115035055 A 2别力的区域生成注意力地图， 以将注意力地图约束到相关图像区域， 并指导对该具判别力 区域的转换合成， 以此来提高图像中具有判别力区域的合成质量以及合成 图像的多样性； 添加的注意力网络包括Ax和Ay， 其中Ax 是负责X域到Y域的注 意力地图生 成， Ay则负责Y域到 X域的注意力地图生成。 5.如权利要求4所述的基于注意力机制的循环一致性对抗网络的肺炎检测方法， 其特 征在于， 注意力引导 生成器GAx和FAy合成， 具体表现为： 图像输入到生成器中的注意力网络Ax和Ay中， 分别产生源域到目标域的映射GAx(x)和 GAy(y)、 注意力映射xa＝Ax和ya＝Ay； 对于X域到Y域的图像转换： 首先， 创建 “图像前景 ”， 将源域X到目标域Y的映射和注意力 映射进行叉乘运算， 得到图像中具有判别力的区域即 “图像前景 ”xf＝GAx(x)⊙Ax； 其次， 创 建“图像背景 ”xb＝GAx(x)⊙(1‑Ax)； 最后， “图像前景 ”和“图像背景 ”融合得到目标域的转 换， 即肺炎X射线图像为xf+xb； 对于Y域到X域的图像转换： 首先， 创建 “图像前景 ”， 将目标域Y到源域X的映射和注意力 映射进行叉乘运算， 得到图像中具有判别力的区域即 “图像前景 ”yf＝GAy(y)⊙Ay； 其次， 创 建“图像背景 ”yb＝GAy(y)⊙(1‑Ay)； 最后， “图像前景 ”和“图像背景 ”融合得到目标域的转 换， 即肺炎X射线图像为yf+yb。 6.如权利要求1所述的基于注意力机制的循环一致性对抗网络的肺炎检测方法， 其特 征在于， 在生成器和判别器对抗训练过程中， 引入了循环一 致性约束， 具体表现在： 输入数据集X， Y中的每个图像x， y， 通过循环后返回的图像都接近原始数据， 输入图像x 经过生成器GAx和FAy转换后最终恢复到接近原始源域分布的图像x'； 为了保证两个网络的 输入和输出尽可能保持一致性， 使用循环一致性损失对其进 行约束； 对于逆向， 要保证输出 y'近似输入y， 即x →GAx(x)→FAy(GAx(x))≈x'和y →FAy(y)→GAx(FAy(y))≈y'， 即完成X →Y→ X和Y→X→Y的循环转换； 循环一 致性损失函数为公式三： 其中， 损失函数中的 是指在X域中取的样本， 是指从Y域取的样 本， 分别是从源域X开始 的正向循环损失和从目标域Y开始的逆向循环损失。 7.如权利要求1所述的基于注意力机制的循环一致性对抗网络的肺炎检测方法， 其特 征在于， 基于注意力机制的循环一 致性对抗成生成网络的全部损失如公式四： L(GAx,FAy,Dx,Dy)＝ LGAN(GAx,Dy,X,Y)+LGAN(FAy,Dx,Y,X)+λLcyc(GAx,FAy) 其中， LGAN(GAx,Dy,X,Y)是GAx和Dy的损失函数； LGAN(FAy,Dx,Y,X)是GAy和Dx的损失函数； Lcyc(GAx,FAy)是循环一 致性损失函数； λ控制两个目标的相对重要性； 基于注意力机制的循环一致性对抗成生成网络的最终优化函数是求解最大最小对抗 问题， 如公式五： 8.如权利要求1所述的一种基于注意力机制的循环一致性对抗网络的肺炎检测方法，权　利　要　求　书 2/3 页 3 CN 115035055 A 3