(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211067385.4 (22)申请日 2022.09.01 (71)申请人 阿波罗智联 （北京） 科技有限公司 地址 100176 北京市大兴区北京经济技 术 开发区瑞合西二路7号院1号楼1层101 (72)发明人 夏春龙　 (74)专利代理 机构 北京柏杉松知识产权代理事 务所(普通 合伙) 11413 专利代理师 丁芸　马敬 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 图像特征融合及模型训练方法、 装置、 设备 以及存储介质 (57)摘要 本公开提供了一种图像特征融合及模型训 练方法、 装置、 设备以及存储介质， 涉及图像处理 技术领域， 尤其涉及计算机视觉、 深度学习等领 域。 具体实现方案为： 获取不同感受野的图像特 征； 利用不同感受野的 图像特征中的底层图像特 征， 对不同感受野的图像特征中的高层图像特征 进行通道信息增强， 得到通道信息增强后的增强 高层特征； 其中， 高层图像特征的感受野大于底 层图像特征的感受野； 利用不同感受野的图像特 征中的高层图像特征， 对不同感受野的图像特征 中的底层图像特征进行空间信息增强， 得到空间 信息增强后的增强底层特征； 将增强高层特征和 增强底层特征进行融合， 得到融合后特征。 本公 开能够更好地进行图像特征融合， 提高图像特征 的准确性。 权利要求书5页 说明书16页 附图5页 CN 115482443 A 2022.12.16 CN 115482443 A 1.一种图像特 征融合方法， 包括： 获取不同感受野的图像特 征； 利用所述不同感受野的图像特征中的底层图像特征， 对所述不同感受野的图像特征中 的高层图像特征进 行通道信息增强， 得到通道信息增强后的增强 高层特征； 其中， 所述高层 图像特征的感受野大于所述底层图像特 征的感受野； 利用所述不同感受野的图像特征中的高层图像特征， 对所述不同感受野的图像特征中 的底层图像特 征进行空间信息增强， 得到空间信息增强后的增强底层特 征； 将所述增强高层特 征和增强底层特 征进行融合， 得到融合后特 征。 2.根据权利要求1所述的方法， 其中， 所述获取不同感受野的图像特 征， 包括： 获取待处理图像， 将所述待处理图像输入用于 图像特征融合的模型， 通过所述用于 图 像特征融合的模型中的特 征提取网络， 提取 所述待处 理图像的不同感受野的图像特 征； 所述利用所述不同感受野的图像特征中的底层图像特征， 对所述不同感受野的图像特 征中的高层图像特 征进行通道信息增强， 得到通道信息增强后的增强高层特 征， 包括： 通过所述用于图像特征融合的模型中的通道注意力网络， 利用所述不同感受野的图像 特征中的底层图像特征， 对所述不同感受野的图像特征中的高层图像特征进 行通道信息增 强， 得到通道信息增强后的增强高层特 征； 所述利用所述不同感受野的图像特征中的高层图像特征， 对所述不同感受野的图像特 征中的底层图像特 征进行空间信息增强， 得到空间信息增强后的增强底层特 征， 包括： 通过所述用于图像特征融合的模型中的空间注意力网络， 利用所述不同感受野的图像 特征中的高层图像特征， 对所述不同感受野的图像特征中的底层图像特征进 行空间信息增 强， 得到空间信息增强后的增强底层特 征； 所述将所述增强高层特 征和增强底层特 征进行融合， 得到融合后特 征， 包括： 通过所述用于图像特征融合的模型中的融合网络， 将所述增强高层特征和增强底层特 征进行融合， 得到融合后特 征。 3.根据权利要求2所述的方法， 其中， 所述通道注意力网络包括全局池化层、 第一感知 层和归一 化层； 所述通过所述用于图像特征融合的模型中的通道注意力网络， 利用所述不同感受野的 图像特征中的底层图像特征， 对所述不同感受野的图像特征中的高层图像特征进 行通道信 息增强， 包括： 利用所述全局池化层对所述底层图像特 征进行全局池化操作； 利用所述第一感知层基于全局池化操作后的结果， 通过全连接操作， 得到与所述高级 图像特征的通道维度一 致的列向量； 利用所述第一归一化层对与所述高级图像特征的通道维度一致的列向量进行归一化 操作， 得到第一归一化后的列向量， 所述第一归一化后的列向量中的值表示通道重要度系 数； 所述空间注意力网络包括第二感知 层和所述第二归一 化层； 所述通过所述用于图像特征融合的模型中的空间注意力网络， 利用所述不同感受野的 图像特征中的高层图像特征， 对所述不同感受野的图像特征中的底层图像特征进 行空间信 息增强， 包括：权　利　要　求　书 1/5 页 2 CN 115482443 A 2利用所述第 二感知层对所述高层图像特征进行全连接操作， 得到与 所述底层图像特征 的空间维度一 致的列向量； 利用所述第二归一化层对所述与所述底层图像特征的空间维度一致的列向量进行归 一化操作， 得到第二归一化后的列向量， 所述第二归一化后的列向量中的值表示空间重要 度系数。 4.一种用于图像特 征融合的模型训练方法， 包括： 获取多个样本图像以及各个样本图像对应的标签； 针对各个样本图像， 将所述样本图像输入用于图像特 征融合的模型， 得到融合后特 征； 基于所述融合后特 征进行图像处 理， 得到图像处 理结果； 计算所述图像处 理结果与所述样本图像对应的标签之间的差异； 基于所述差异调整所述用于图像特 征融合的模型的模型参数； 基于调整后的模型参数以及所述多个样本 图像， 继续进行模型参数的调整过程， 直至 满足预设迭代结束条件； 将满足预设迭代结束条件时所得到的模型参数作为训练后的模型参数， 将包括所述训 练后的模型参数的用于图像特 征融合的模型作为训练后的用于图像特 征融合的模型； 其中， 所述用于 图像特征融合的模型包括通道注意力网络、 空间注意力网络和融合网 络； 所述通道注意力网络， 用于利用所述不同感受野的图像特征中的底层图像特征， 对所 述不同感受野的图像特征中的高层图像特征进行通道信息增强， 得到通道信息增强后的增 强高层特 征； 其中， 所述高层图像特 征的感受野大于所述底层图像特 征的感受野； 所述空间注意力网络， 用于利用所述不同感受野的图像特征中的高层图像特征， 对所 述不同感受野的图像特征中的底层图像特征进行 空间信息增强， 得到空间信息增强后的增 强底层特 征； 所述融合网络， 用于将所述增强高层特 征和增强底层特 征进行融合， 得到融合后特 征。 5.根据权利要求4所述的方法， 其中， 针对各个样本 图像， 所述样本 图像对应的标签包 括所述样本图像的类别标签、 检测标签和/或分割标签； 所述基于所述融合后特 征进行图像处 理， 得到图像处 理结果， 包括： 基于所述融合结果进行图像分类、 图像检测和/或图像分割， 得到针对所述样本图像的 分类结果、 检测结果和/或分割结果； 所述计算所述图像处 理结果与所述样本图像对应的标签之间的差异， 包括： 计算所述分类结果与 所述类别标签之间的差异、 所述检测结果和所述检测标签之间的 差异和/或所述分割结果与所述分割标签之间的差异。 6.根据权利要求4所述的方法， 其中， 所述通道注意力网络包括全局池化层、 第一感知 层和归一 化层； 所述全局池化层， 用于对所述底层图像特 征进行全局池化操作； 所述第一感知层， 用于基于全局池化操作后的结果， 通过全连接操作， 得到与所述高级 图像特征的通道维度一 致的列向量； 所述第一归一化层， 用于对与所述高级图像特征的通道维度一致的列向量进行归一化 操作， 得到第一归一化后的列向量， 所述第一归一化后的列向量中的值表示通道重要度系权　利　要　求　书 2/5 页 3 CN 115482443 A 3