(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211014238.0 (22)申请日 2022.08.23 (71)申请人 北京医准智能科技有限公司 地址 100083 北京市海淀区知春路7号 致真 大厦A座12层1202-120 3号 (72)发明人 贾潇　王子腾　丁佳　吕晨翀　 (74)专利代理 机构 北京乐知新创知识产权代理 事务所(普通 合伙) 11734 专利代理师 王睿 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06T 7/00(2017.01) G06T 7/11(2017.01)G06T 9/00(2006.01) (54)发明名称 图像分类模型的训练方法、 装置、 电子设备 及存储介质 (57)摘要 本公开提供了一种图像分类模型的训练方 法、 装置、 电子设备及存储介质， 所述方法包括： 确认第一样本图像和第一样本图像对应的第一 掩码图像； 基于所述第一掩码图像训练图像分类 模型包括的第一编码器， 确认训练完成的第一编 码器为第二编码器； 将第二样 本图像输入至分类 分支中， 将第二样本图像对应的第二掩码图像输 入至对照分支中， 对分类分支输出的第一特征图 像和对照分支输出的第二特征图像进行特征融 合， 获得第一融合特征； 将第一融合特征输入至 分类分支包括的全连接层分类器中， 确认全 连接 层分类器的输出为第二样本图像对应的肺部预 测分类结果； 基于第二样本图像的肺部标注分类 结果和第二样本图像的肺部预测分类结果调整 分类分支的参数。 权利要求书3页 说明书15页 附图5页 CN 115187819 A 2022.10.14 CN 115187819 A 1.一种图像分类模型的训练方法， 其特 征在于， 所述方法包括： 确认第一样本 图像和所述第一样本 图像对应的第一掩码图像； 其中， 所述第一掩码图 像基于第一样本图像获得， 所述第一掩码图像中肺野区域包括掩码； 基于所述第 一掩码图像训练图像分类模型包括的第 一编码器， 确认训练完成的第 一编 码器为第二编码器； 所述第二编码器 应用于图像分类模型包括的分类分支和对照分支； 将第二样本图像输入至所述分类分支中， 将所述第 二样本图像对应的第 二掩码图像输 入至所述对照分支中， 对所述分类分支输出的第一特征图像和所述对照分支输出的第二特 征图像进行 特征融合， 获得第一融合特 征； 将所述第一融合特征输入至所述分类分支包括的全连接层 分类器中， 确认所述全连接 层分类器的输出为所述第二样本图像对应的肺部预测分类结果； 基于所述第二样本图像的肺部标注分类结果和所述第二样本图像的肺部预测分类结 果调整所述分类分支的参数。 2.根据权利要求1所述的方法， 其特征在于， 所述确认第 一样本图像和所述第 一样本图 像对应的第一掩码图像， 包括： 对所述第一样本图像进行分割， 基于分割结果确定所述第 一样本图像中肺野区域和非 肺野区域； 基于掩码和/或第一补丁库中的子 图像替换所述第一样本 图像的肺野区域， 得到所述 第一样本图像对应的第一掩码图像。 3.根据权利要求2所述的方法， 其特征在于， 所述基于掩码和/或第一补丁库中的子 图 像替换所述第一样本图像的肺野区域， 得到所述第一样本图像对应的第一掩码图像， 包括： 基于所述掩码替换所述第 一样本图像的肺野区域， 得到所述第 一样本图像对应的第 一 掩码图像； 所述第一掩码图像中肺野区域全部为掩码； 或者， 基于所述掩码和所述第一补丁库中的子 图像， 替换所述第一样本 图像的肺野区 域， 得到所述第一样本图像对应的第一掩码图像； 所述第一掩码图像中肺野区域部分为掩 码， 部分为第一补丁库中的子图像。 4.根据权利要求1所述的方法， 其特征在于， 所述基于所述第 一掩码图像训练图像分类 模型包括的第一编码器， 确认训练完成的第一编码器为第二编码器， 包括： 将所述第一掩码图像输入至所述第 一编码器中， 确认所述第 一编码器的输出为所述第 一掩码图像对应的至少一张特 征图像； 将所述至少一张特征图像输入至所述图像分类模型包括的解码器中， 确认所述解码器 的输出为所述第一掩码图像对应的第一重构图像； 基于所述第 一重构图像和所述第 一样本图像调 整所述第 一编码器的参数， 确 认调整参 数后的第一编码器为第二编码器。 5.根据权利要求1所述的方法， 其特征在于， 所述将第 二样本图像输入至所述分类分支 中， 将所述第二样本图像对应的第二掩码图像输入至所述对照分支中， 对所述分类分支输 出的第一特征图像和所述对照分支输出的第二特征图像进行特征融合， 获得第一融合特 征， 包括： 将所述第二样本图像输入至所述分类分支包括的第 三编码器中， 确 认所述第 三编码器 的输出为所述第二样本图像对应的第一特征图像； 所述第三编 码器的参数与所述第二编码权　利　要　求　书 1/3 页 2 CN 115187819 A 2器的参数相同； 将所述第二样本图像对应的第 二掩码图像输入至所述对照分支包括的第四编码器中， 确认所述第四编码器的输出为所述第二样本图像对应的第二特征图像； 所述第四编 码器的 参数与所述第二编码器的参数相同； 对所述第一特 征图像和所述第二特 征图像进行 特征融合， 获得第一融合特 征。 6.根据权利要求1或5所述的方法， 其特征在于， 所述对所述分类分支输出的第一特征 图像和所述对照分支输出的第二特 征图像进行 特征融合， 获得第一融合特 征， 包括： 对所述第一特 征图像和所述第二特 征图像逐像素作差， 得到第一差异特 征； 基于所述第一特 征图像和所述第一差异特 征， 获得所述第一融合特 征。 7.根据权利要求1所述的方法， 其特征在于， 所述基于所述第 二样本图像的肺部标注分 类结果和所述第二样本图像的肺部预测分类结果调整所述分类分支的参数， 包括： 基于所述第二样本图像的肺部标注分类结果和所述第二样本图像的肺部预测分类结 果， 确定交叉熵损失； 基于所述交叉熵损失调整所述分类分支包括的第三编码器的参数和所述全连接层分 类器的参数。 8.一种图像分类方法， 其特征在于， 基于权利要求1 ‑7训练得到的图像分类模型实现， 所述方法包括： 将第一待分类图像输入至所述图像分类模型包括的分类分支中， 确 认所述分类分支的 输出为所述第一待分类图像的分类结果； 和/或， 确认所述第一待分类图像对应的第三掩码图像； 将所述第三掩码图像输入至所 述图像分类模型包括的对照分支中， 确认所述对照分支的输出为所述第一待分类图像对应 的对照图像。 9.一种图像分类模型的训练装置， 其特 征在于， 所述装置包括： 分割单元， 用于确认第一样本图像和所述第一样本图像对应的第一掩码图像； 其中， 所 述第一掩码图像 基于第一样本图像获得， 所述第一掩码图像中肺野区域包括掩码； 第一训练单元， 用于基于所述第 一掩码图像调 整图像分类模型包括的第 一编码器的参 数， 确认调整参数后的第一编码器为第二编码器； 所述第二编码器应用于图像分类模型包 括的分类分支和对照分支； 特征融合单元， 用于将第二样本 图像输入至所述分类分支中， 将所述第二样本 图像对 应的第二掩码图像输入至所述对照分支中， 对所述分类分支输出的第一特征图像和所述对 照分支输出的第二特 征图像进行 特征融合， 获得第一融合特 征； 第二训练单元， 用于将所述第 一融合特征输入至所述分类分支包括的全连接层 分类器 中， 确认所述全连接层分类 器的输出为所述第二样本图像对应的肺部预测分类结果； 调整单元， 用于基于所述第 二样本图像的肺部标注分类结果和所述第 二样本图像的肺 部预测分类结果调整所述分类分支的参数。 10.一种图像分类装置， 其特征在于， 基于权利要求1 ‑7训练得到的图像分类模型实现， 所述装置包括： 第一输入单元， 用于将第一待分类图像输入至所述图像分类模型包括的分类分支中， 确认所述分类分支的输出为所述第一待分类图像的分类结果；权　利　要　求　书 2/3 页 3 CN 115187819 A 3