(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210907494.6 (22)申请日 2022.07.29 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 辛颖　薛松　冯原　李超　张滨　 王云浩　韩树民　 (74)专利代理 机构 北京易光知识产权代理有限 公司 11596 专利代理师 徐升升　阎敏 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/42(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 图像分类方法、 装置、 设备以及存 储介质 (57)摘要 本公开提供了一种图像分类方法、 装置、 设 备以及存储介质。 涉及人工智 能技术领域， 具体 涉及深度学习、 图像处理、 计算机视觉技术领域， 可应用于图像分类等场景。 具体实现方案为： 通 过第一网络模 型提取目标图像的第一图像特征， 第一网络模 型包括卷积神经网络模块； 通过第二 网络模型提取目标图像的第二图像特征， 第二网 络 模 型 包 括 深 度 自 注 意 力 变 换 网 络 (Transformer)模块； 对第一图像特征和第二图 像特征进行融合处理， 得到待识别目标特征； 基 于待识别目标特征对目标图像进行分类。 根据本 公开的技 术方案， 能提高图像的分类准确率。 权利要求书4页 说明书11页 附图4页 CN 115331048 A 2022.11.11 CN 115331048 A 1.一种图像分类方法， 包括： 通过第一网络模型提取目标图像的第 一图像特征， 所述第 一网络模型包括卷积神经网 络模块； 通过第二网络模型提取所述目标图像的第 二图像特征， 所述第 二网络模型包括深度自 注意力变换网络Transformer模块； 对所述第一图像特 征和所述第二图像特 征进行融合处 理， 得到待识别目标 特征； 基于所述待识别目标 特征对所述目标图像进行分类。 2.根据权利要求1所述的方法， 其中， 所述对所述第 一图像特征和所述第 二图像特征进 行融合处 理， 得到待识别目标 特征， 包括： 将所述第一图像特征与所述第 二图像特征通过第 一融合方式进行特征融合， 得到第 三 图像特征； 将所述第二图像特征与所述第 一图像特征通过第 二融合方式进行特征融合， 得到第四 图像特征； 将所述第三图像特征与所述第四图像特征通过第 三融合方式进行特征融合， 得到所述 待识别目标 特征。 3.根据权利要求2所述的方法， 其中， 所述将所述第 一图像特征与所述第 二图像特征通 过第一融合方式进行 特征融合， 得到第三图像特 征， 包括： 以所述第一图像特征为基准， 将所述目标图像的相同位置处 的所述第 二图像特征与 所 述第一图像特 征相加， 得到所述第三图像特 征。 4.根据权利要求2所述的方法， 其中， 所述将所述第 二图像特征与所述第 一图像特征通 过第二融合方式进行 特征融合， 得到第四图像特 征， 包括： 以所述第二图像特征为基准， 将所述目标图像的目标位置处 的所述第 一图像特征与 所 述第二图像特 征相加， 得到所述第四图像特 征。 5.根据权利要求2所述的方法， 其中， 所述将所述第 三图像特征与所述第四图像特征通 过第三融合方式进行 特征融合， 得到所述待识别目标 特征， 包括： 将所述第三图像特 征与所述第一图像特 征进行特征堆叠， 得到第一目标 特征； 将所述第四图像特 征与所述第二图像特 征进行特征堆叠， 得到第二目标 特征； 将所述第一目标 特征与所述第二目标 特征进行特征堆叠， 得到所述待识别目标 特征。 6.根据权利要求5所述的方法， 其中， 所述将所述第 一目标特征与所述第 二目标特征进 行特征堆叠， 得到所述待识别目标 特征， 包括： 将通过所述第一网络模型的第m个卷积层确定的第一目标特征， 与通过所述第二网络 模型的第n个网络层确定的第二目标特征进行特征融合， 得到第k个目标特征； 其中， 所述m、 所述n和所述k均为大于等于1的正整数； 将所述第k个目标特征分别输入所述第一网络模型的第m+1个卷积层和所述第二网络 模型的第n+1个网络层， 得到通过所述第一网络模 型的第m+1个卷积层输出的所述第一目标 特征， 以及通过 所述第二网络模型的第n+1个网络层输出的所述第二目标 特征； 将所述第一目标 特征与所述第二目标 特征进行特征融合， 得到第k+1个目标 特征； 根据所述第k+1个目标 特征确定所述待识别目标 特征。 7.根据权利要求6所述的方法， 所述方法还 包括：权　利　要　求　书 1/4 页 2 CN 115331048 A 2获取指示信息， 所述指示信息用于指示所述目标图像的检测类别； 基于所述指示信息确定所述第一网络模型的第一运行层数和所述第二网络模型的第 二运行层数； 基于所述第一 运行层数和所述第二 运行层数确定所述m的值、 所述 n的值和所述 k的值。 8.根据权利要求2所述的方法， 其中， 所述将所述第 一图像特征与所述第 二图像特征通 过第一融合方式进行 特征融合， 得到第三图像特 征， 包括： 将所述第 一网络模型的第j个卷积层输出的第 一图像特征， 和所述第 二网络模型的第i 个网络层输出的第二图像特征， 输入 所述第一网络模型的第 j+1个卷积层， 得到所述第一网 络模型的第j+1个卷积层输出的所述第一图像特征； 其中， 所述i和所述j均为大于等于1的 正整数； 根据所述第一图像特 征确定所述第三图像特 征。 9.根据权利要求2所述的方法， 其中， 所述将所述第 二图像特征与所述第 一图像特征通 过第二融合方式进行 特征融合， 得到第四图像特 征， 包括： 将所述第 二网络模型的第q个网络层输出的第 二图像特征， 和所述第 一网络模型的第p 个卷积层输出的第一图像特征， 输入 所述第二网络模型的第q+1个网络层， 得到所述第二网 络模型的第q+1个网络层输出的所述第二图像特征， 其中， 所述p和所述q均为大于等于1的 正整数； 根据所述第二图像特 征确定所述第四图像特 征。 10.一种图像分类装置， 包括： 第一获取模块， 用于通过第一网络模型提取目标图像的第一图像特征， 所述第一网络 模型包括卷积神经网络模块； 第二获取模块， 用于通过第二网络模型提取所述目标图像的第二图像特征， 所述第二 网络模型包括深度自注意力变换网络Transformer模块； 特征融合模块， 用于对所述第一图像特征和所述第二图像特征进行融合处理， 得到待 识别目标 特征； 分类模块， 用于基于所述待识别目标 特征对所述目标图像进行分类。 11.根据权利要求10所述的装置， 其中， 所述特 征融合模块， 包括： 第一融合子模块， 用于将所述第 一图像特征与 所述第二图像特征通过第 一融合方式进 行特征融合， 得到第三图像特 征； 第二融合子模块， 用于将所述第 二图像特征与 所述第一图像特征通过第 二融合方式进 行特征融合， 得到第四图像特 征； 第三融合子模块， 用于将所述第 三图像特征与 所述第四图像特征通过第 三融合方式进 行特征融合， 得到所述待识别目标 特征。 12.根据权利要求1 1所述的装置， 其中， 所述第一融合子模块， 用于： 以所述第一图像特征为基准， 将所述目标图像的相同位置处 的所述第 二图像特征与 所 述第一图像特 征相加， 得到所述第三图像特 征。 13.根据权利要求1 1所述的装置， 其中， 所述第二融合子模块， 用于： 以所述第二图像特征为基准， 将所述目标图像的目标位置处 的所述第 一图像特征与 所 述第二图像特 征相加， 得到所述第四图像特 征。权　利　要　求　书 2/4 页 3 CN 115331048 A 3