(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210378225.5 (22)申请日 2022.04.12 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 钟隆祺　张见威　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 李斌 (51)Int.Cl. G06T 7/00(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 3/40(2006.01) G06T 3/60(2006.01)G06T 5/00(2006.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于融合注意力的宫颈细胞学图像异常区 域定位方法及装置 (57)摘要 本发明公开了基于融合注意力的宫颈细胞 学图像异常区域定位方法及装置， 方法包括： 获 取原始宫颈细胞学图像， 对所述 宫颈细胞学图像 数据集进行预处理， 得到图像训练集和图像测试 集； 采用预先设立的残差神经网络提取宫颈细胞 学图像的粗特征； 构建多尺度特征融合模型， 并 以特征金字塔结构输出多层 级的特征， 采用联合 注意力的共享检测头与目标框质量评估方法， 对 多层级特征进行坐标回归和分类； 采用预测框与 真实框重叠区域面积与真实框面积的比值iog作 为判断目标框是否命中异常区域的指标， 并根据 设置的iog阈值以及目标框的置信度判断是否为 异常区域。 本发 明能够快速定位 宫颈细胞图像的 异常区域， 作为临床的辅助诊断方式， 可极大减 少临床医生的工作量。 权利要求书5页 说明书14页 附图4页 CN 114897779 A 2022.08.12 CN 114897779 A 1.基于融合注意力的宫颈细胞 学图像异常区域定位方法， 其特 征在于， 包括下述 步骤： 获取原始宫颈细胞学图像， 对所述宫颈细胞学图像数据集进行预处理， 得到 图像训练 集和图像测试集； 采用预先设立的残差神经网络提取图像训练集中宫颈细胞学图像的粗特征， 所述粗特 征是指残差神经网络提取的固有特 征； 构建多尺度特征融合模型， 并以特征金字塔结构输出多层级的特征， 所述尺度特征融 合模型对粗特征进行 组平均池化得到通道特征权重， 利用通道特征权重得到无通道信息衰 减的通道 注意力特 征； 所述多层级的特 征是指金字塔结构输出的多层级特 征； 采用联合注意力的共享检测头， 对多层级特征进行坐标回归和分类， 并对目标框质量 进行评估， 首先， 计算残差卷积特征， 并在最后一个残差卷积块之后计算空间注意力特征， 对空间注意力特征计算通道注 意力， 得到用于回归和分类的特征向量矩阵； 然后， 根据特征 向量矩阵中特征点的预测值对目标框进行分类； 最后， 对于分类的结果采用目标框进行质 量评估， 并对 对目标框坐标进行回归； 采用预测框与真实框重叠区域面积与真实框面积的比值iog作为判断目标框是否命中 异常区域的指标， 并根据设置的i og阈值以及目标框的置信度判断是否为异常区域。 2.根据权利要求1所述基于融合注意力的宫颈细胞学图像异常区域定位方法， 其特征 在于， 所述预处 理具体为： 对原始宫颈细胞学图像进行旋转、 翻转和亮度变换， 得到部分增广 数据集， 将所述部分 增广数据集作为图像测试集； 使用去错切的马赛克数据增强方法， 分别对原始宫颈细胞学图像进行旋转、 翻转和亮 度变化处理， 将处理后的图像和对应的原始宫颈细胞学图像进行拼接， 拼接后的新图像大 小与原始宫颈细胞学图像相同， 得到去错切的马赛克数据增广数据集， 将所述马赛克数据 增广数据集作为图像训练集。 3.根据权利要求1所述基于融合注意力的宫颈细胞学图像异常区域定位方法， 其特征 在于， 所述采用预 先设立的残差神经网络提取宫颈细胞 学图像的粗特 征， 具体为： 所述残差神经网络包含五个残 差块， 每个残 差块均为BottleNeck结构， 由1 ×1卷积f1、 3 ×3卷积f2、 1×1卷积f3以及跳跃 连接组成， 每 个残差块学习的恒等映射 为: H(x)＝f3(f2(f1(x))) F(x)＝H(x)+x 其中， H(x)表示无跳跃连接时残差块的输出， F(x)表示通过跳跃连接学习到的特征， x 表示原始特征； 输出图像的三层粗特征C3,C4,C5， C3,C4,C5表示残差神经网络提取的不同层级的特 征； C3为最低层特 征。 4.根据权利要求1所述基于融合注意力的宫颈细胞学图像异常区域定位方法， 其特征 在于， 所述构建多尺度特 征融合模型 具体为： 对残差神经网络输 出的粗特征图Ck进行组平均池 化， 得到形状为[B,C,1,1]的通道特征 权重gp： 权　利　要　求　书 1/5 页 2 CN 114897779 A 2其中， B为批大小， C为通道大小， 为粗特征图Ck上第(i,j)位置处 的值， H为特征 图的长度， W 为特征图的宽度； 将通道特征权重gp传入线性整流函数ReLU中， 其具体表达式为max(0,gp)； 再将通道特 征权重馈入一层全连接层和一个sigmoid激活函数σ， 乘以粗特征图Ck， 最后得到无通道信 息衰减的通道 注意力特 征Csq_k， 其计算表达式为： Csq_k＝Ck*σ(max(0,gp) ) 对得到的通道注意力特征Csq_3,Csq_4,Csq_5进行1×1卷积， 得到待 融合的特征f3(Csq_3), f3(Csq_4),f3(Csq_5)； 输出不同层级的特征F3,F4,F5,F6,F7， 其中， F5层特征由原始粗特征C5计算通道注意力， 再进行一层卷积得到 Csq_5， 卷积核尺寸 为1×1， 其计算表达式为； F5＝f5(Csq_5) 对于F3层、 F4层特征， 分别 根据其原始粗特征C3、 C4计算通道注意力， 再进行一层卷积分 别得到Csq_3、 Csq_4， 卷积核尺寸为1 ×1； 再对高层特征F4、 F5进行上采样， 其中插值方式为最 邻近插值， 并将它们分别与 对应的通道注意力特征Csq_3、 Csq_4求和， 计算F3层、 F4层特征的具 体表达式为： Fi＝fi(Csq_i)+S(Fi+1),i＝3,4 对于高维特 征F6、 F7， 分别由F5和F6进行3×3卷积计算得到， 计算F6、 F7的具体表达式为： Fi＝fi(Fi‑1),i＝6,7 其中f6， f7为3×3卷积。 5.根据权利要求1所述基于融合注意力的宫颈细胞学图像异常区域定位方法， 其特征 在于， 所述联合注意力的共享检测头与目标框质量评估方法， 具体为： 计算残差卷积特征， 计算残差卷积特征的结构由四层残差卷积块组成， 每个残差卷积 块由一层卷积层、 跳跃连接、 组归一化操作组成， 其中卷积核尺寸为3 ×3， 卷积前后的通道 数保持不变， 均为256； 组归一化过程为， 原特征通道数为C， 将 每个批次特征图的通道分成G 组， 每组有C/G个通道， 再对分组后的通道求均值和标准差， 并在组内对每个特征值进行归 一化， 均值、 标准差与归一 化后的特 征值的具体 计算表达式为： 其中xnchw为组内某一点的特征值， H 为特征图的宽度， W为 特征图的长度， 为归一化 后的特征； 在最后一个残差卷积块之后， 计算空间注意力， 给定输入x， 输出空间注意力y的计算表权　利　要　求　书 2/5 页 3 CN 114897779 A 3