(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210536524.7 (22)申请日 2022.05.17 (71)申请人 河南大学 地址 475004 河南省开封市龙亭区金明大 道1号 (72)发明人 庞子龙　莫也　马韶胤　武戈　 (74)专利代理 机构 郑州大通专利商标代理有限 公司 41111 专利代理师 刘莹莹 (51)Int.Cl. G06T 7/00(2017.01) G06T 3/60(2006.01) G06T 7/10(2017.01) G06V 10/40(2022.01) G06V 10/764(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于混合空间和通道间注意力的肺炎图像 检测方法及装置 (57)摘要 本发明提供一种基于混合空间和通道间注 意力的肺炎图像检测方法及装置。 该方法包括： 步骤1： 对肺部X射线图像进行数据预处理； 步骤 2： 构建第一特征网络， 采用所述第一特征网络对 预处理后的肺部X射线 图像进行特征提取， 得到 特征图C； 步骤3： 构建第二特征网络， 采用所述第 二特征网络对所述特征图C进行特征提取， 得到 特征图F； 步骤4： 构建混合空间注意力和通道间 注意力的注 意力模块， 采用所述注 意力模块对所 述特征图F进行处理， 得到特征张量X； 步骤5： 构 建网络分类器， 采用所述网络分类器对所述特征 张量X进行检测， 得到 检测结果。 权利要求书3页 说明书9页 附图3页 CN 114782403 A 2022.07.22 CN 114782403 A 1.基于混合空间和通道间注意力的肺炎图像 检测方法， 其特 征在于， 包括： 步骤1： 对肺部X射线图像进行 数据预处 理； 步骤2： 构建第一特征网络， 采用所述第一特征网络对预处理后的肺部X射线图像进行 特征提取， 得到特 征图C； 步骤3： 构建第 二特征网络， 采用所述第二特征网络对所述特征图C进行特征提取， 得到 特征图F； 步骤4： 构建混合空间注意力和通道间注意力的注意力模块， 采用所述注意力模块对所 述特征图F进行处 理， 得到特 征张量X； 步骤5： 构建网络分类器， 采用所述网络分类器对所述特征张量X进行检测， 得到检测结 果。 2.根据权利要求1所述的基于混合空间和通道间注意力的肺炎图像检测方法， 其特征 在于， 步骤1具体包括： 步骤1.1： 筛除不符合要求的肺部X射线图像； 步骤1.2： 将由符合要求的所有肺部X射线图像组成的数据集划分训练集、 验证集和测 试集； 步骤1.3： 将所述数据集中的每 个肺部X射线图像转 化为RGB三通道图像； 步骤1.4： 对每 个所述RGB三 通道图像进行图像增强； 步骤1.5： 将进行图像增强后的每 个所述RGB三 通道图像转 化为张量图像； 步骤1.6： 对每个所述RGB三通道图像的每个通道进行正则化， 然后根据三通道的均值 向量和标准向量对所述张量图像进行归一 化； 步骤1.7： 将归一 化后的每 个所述张量图像转换为灰度图像。 3.根据权利要求2所述的基于混合空间和通道间注意力的肺炎图像检测方法， 其特征 在于， 步骤1.4具体包括： 步骤A1： 按照p＝0.5的翻转 概率对所述RGB三 通道图像进行 水平翻转； 步骤A2： 调整翻转后的所述RGB三通道图像的图像属性， 具体为： 将亮度偏移幅度设置 为0.5， 对比度偏移幅度设置为0.5， 饱和度偏移幅度设置为0.5， 色相偏移幅度设置为0； 步骤A3： 设置随机裁剪面积比例为(0.7， 1.0)， 将图像属性调整后的所述RGB三通道图 像随机裁剪为不同的大小和宽高比， 然后将 裁剪后的所述 RGB三通道图像的大小缩放至224 ×224像素； 步骤A4： 采用RandAugmentation对每个像素缩放后的所述RGB三通道图像进行自动增 广。 4.根据权利要求1所述的基于混合空间和通道间注意力的肺炎图像检测方法， 其特征 在于， 所述第一特征网络采用使用了Inception卷积的ResNet101作为主干网络， 共包括5个 特征提取层， 分别为： 第一特 征层、 第二特 征层、 第三特 征层、 第四特 征层和第五特 征层； 所述第一特征层的特征提取过程包括： 先采用通道数为3的64个卷积核对输入的预处 理后的肺部X射线图像进行卷积操作， 接着采用BN层进行BatchNormalization操作， 然后采 用ReLu激活函数进行处 理， 最后输入至通道数为64的最大池化层， 得到特 征图C1； 所述第二特征层的特征提取过程包括第 一分支和第 二分支两个分支， 两个分支对输入 的特征图C1分别按照各自的特征提取过程依次重复三次特征提取操作， 然后将两个分支 最权　利　要　求　书 1/3 页 2 CN 114782403 A 2后一次的输出执行预设处理操作， 得到特征图C2； 所述预设处理操作具体包括： 将 两个分支 的输出相加后采用ReLu激活函数进行处 理； 所述第三特征层的特征提取过程包括第 三分支和第四分支两个分支， 两个分支对输入 的特征图C2分别在不同参数状态下 的第三特征层中按照各自的特征提取过程依 次进行四 次特征提取操作， 然后将两个分支最后一次的输出 执行所述预设处 理操作， 得到特 征图C3； 所述第四特征层的特征提取过程包括第五分支和第六分支两个分支， 两个分支对输入 的特征图C3分别在不同参数状态下 的第四特征层中按照各自的特征提取过程依 次进行二 十三次特征提取操作， 然后将两个分支最后一次的输出执行所述预设处理操作， 得到特征 图C4； 所述第五特征层的特征提取过程包括第七分支和第八分支两个分支， 两个分支对输入 的特征图C4分别在不同参数状态下 的第五特征层中按照各自的特征提取过程依 次进行三 次特征提取操作， 然后将两个 分支最后一次的输出执行所述预设处理操作， 得到特征图C5， 将所述特 征图C5作为最终的特 征图C。 5.根据权利要求4所述的基于混合空间和通道间注意力的肺炎图像检测方法， 其特征 在于， 所述第二特 征提取网络采用FPN网络； 所述FPN网络 的特征提取过程包括： 使用1 ×1的卷积将特征图C5的通道数由2048减少 为256， 然后再进行上采样操作， 得到与特征图C4尺寸相同的特征图， 记作特征图C5_up， 再 将特征图C5_up和特征图C4进 行加权求和， 得到特征图P； 采用3 ×3的卷积对 特征图P进行特 征融合， 得到特 征图F； 对特 征图F进行横向连接， 将通道数增 加至2048。 6.根据权利要求1所述的基于混合空间和通道间注意力的肺炎图像检测方法， 其特征 在于， 所述注意力模块对所述特 征图F的处 理过程包括： 步骤B1： 针对每一批包含m张肺部X射线图像的图像集， 其中每张大小为H0×W0的肺部X 射线图像经第一特征提取网络和 第二特征提取网络后， 得到对应的特征图F， 则每一批图像 集的所有特 征图F组成一个特 征张量X； 步骤B2： 对所述特 征张量X进行1 ×1的卷积操作， 再除以其 正则化后的转置； 步骤B3： 运用flatten()函数将步骤B2中得到的特征张量X从第二个维度开始展开， 由 此将每张肺部X射线图像的特 征张量分离为X1,X2,X3,……XH×W； 步骤B4： 对特征张量X中所有位置的特征进行全局平均池化操作得到全局的类无关特 征g： 步骤B5： 计算 通过对score进行特征张量的加权组合获取 每个类别的所有空间位置的最大值， 得到类特定的特征张量a： 其中， T是一 个>0的超参数， 和 分别表示Xj和Xk的转置， mi表示第i类的分类 器参数； 步骤B6： 根据类特定的特征张量 a和全局的类无关特征g得到最终的fi： fi＝g+λai； 并将 fi的尺寸扩展至[m， 2048， 1， 1]； 其中， fi表示第i类的特 征向量； 步骤B7： 把fi的尺寸扩展为与步骤B1中的特征张量X相同， 再与步骤B1中的特征张量X相 乘得到新的特 征张量X。 7.根据权利要求1所述的基于混合空间和通道间注意力的肺炎图像检测方法， 其特征权　利　要　求　书 2/3 页 3 CN 114782403 A 3