(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210543582.2 (22)申请日 2022.05.19 (71)申请人 中国科学院深圳先进技 术研究院 地址 518055 广东省深圳市南 山区深圳大 学城学苑大道1068号 (72)发明人 李攀　张佳帅　张涌　宁立　 许宜诚　 (74)专利代理 机构 深圳市科进知识产权代理事 务所(普通 合伙) 44316 专利代理师 刘建伟 (51)Int.Cl. G06V 10/771(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) (54)发明名称 基于特征融合的小目标检测方法、 装置、 设 备及存储介质 (57)摘要 本发明公开了一种基于特征融合的小目标 检测方法、 装置、 设备及存储介质， 其中方法包 括： 对预先获取到的低维的输入 特征图进行尺寸 变换， 得到高维特征图； 将高维特征图在通道域 上按通道的权值共享融合高维的语义信息到空 间域， 并再次采样， 得到重采样特征图； 对输入特 征图和重采样特征图进行融合， 得到融合特征 图； 输入融合特征图至预先训练好的目标检测模 型， 得到小目标检测结果。 本发明通过尺寸变换 和重采样的方式， 将低维的输入 特征图与经过尺 寸变换和重采样得到的高维特征图进行融合， 有 助于保留小目标物体的空间信息， 从而挺高了目 标检测模型对小目标物体检测和识别的准确性， 而且处理的参数少， 计算 量小， 处理效率更高。 权利要求书2页 说明书9页 附图2页 CN 114863196 A 2022.08.05 CN 114863196 A 1.一种基于特 征融合的小目标检测方法， 其特 征在于， 所述方法包括： 对预先获取到的低维的输入特 征图进行尺寸变换， 得到高维特 征图； 将所述高维特征图在通道域上按通道的权值共享融合高维的语义信 息到空间域， 并再 次采样， 得到 重采样特 征图； 对所述输入特 征图和所述重采样特 征图进行融合， 得到融合特 征图； 输入所述融合特 征图至预 先训练好的目标检测模型， 得到小目标检测结果。 2.根据权利要求1所述的基于特征融合的小目标检测方法， 其特征在于， 所述对预先获 取到的低维的输入特 征图进行尺寸变换， 得到高维特 征图， 包括： 获取预设的上采样因子以及所述输入特征图的尺寸(C*W*H)， C为所述输入特征图的通 道数， W为所述输入特 征图的宽度值， H为所述输入特 征图的高度值； 基于所述上采样因子将所述 通道数划分为γ2个分组， γ为所述上采样因子； 对所述输入特征图进行上采样操作， 以将每组中相同位置的参数值按顺序放置在生成 的上采样图的对应位置， 得到尺 寸变换后的高维特征图， 所述高维特征图的尺 寸为(C′*2W* 2H)， 其中， C ′＝C/γ2， C′为所述高维特 征图的通道数。 3.根据权利要求1所述的基于特征融合的小目标检测方法， 其特征在于， 所述将所述高 维特征图在通道域上按通道的权值共享融合高维的语义信息到空间域， 并再次采样， 得到 重采样特 征图， 包括： 基于预设规则， 根据所述高维特 征图的通道数生成每 个空间位置的重采样核； 将所述高维特 征图的通道数划分为预设数量个分组； 将每个分组分别与对应空间位置的重采样核进行相乘后按空间域进行值的累加， 得到 待生成的重采样特 征图的每 个空间位置的参数值； 对所述每 个空间位置的参数值进行二维展开， 得到所述重采样特 征图。 4.根据权利要求3所述的基于特征融合的小目标检测方法， 其特征在于， 所述重采样核 的计算公式为： φ(Xi,j)＝W1σ(W0Xi,j)； 其中， Ki,j为所述重采样核， 为所述高维特征图中以Xi,j为中心的区域集合， ψi,j是 坐标(i,j)的邻域， φ()为核运算公式， 为全连接操作， C′为所述高维特征图的通道数， r为预设 的通道缩减率， σ 为激活函数， G为所述预设数量， K 为表示为以Xi,j为中心空间域范围的个数； 每个空间位置的参数值的变换 过程表示 为： 其中， FC表示全连接操作； 对所述每 个空间位置的参数值进行二维展开过程表示 为： 权　利　要　求　书 1/2 页 2 CN 114863196 A 2其中， reshape表示 二维展开操作。 5.根据权利要求1所述的基于特征融合的小目标检测方法， 其特征在于， 所述对所述输 入特征图和所述重采样特 征图进行融合， 得到融合特 征图， 包括： 基于双线性插值 算法扩大 所述输入特 征图的尺寸， 得到第一尺寸特 征图； 对所述重采样特征图进行卷积运算， 以致所述重采样特征图的通道数与所述第 一尺寸 特征图的通道数相同； 将升维后的重采样特征图和所述第 一尺寸特征图按位置对应关系 进行参数值的相加， 得到所述融合特 征图。 6.根据权利要求5所述的基于特征融合的小目标检测方法， 其特征在于， 所述融合特征 图的计算公式表示 为： Xout＝fup(Xin)+fconv(XSIR)； 其中， 为所述输入特征图， 为所述融合特征图， XSIR 为所述重采样特征图， fup为双线性插值算法； fconv为卷积运算， C为所述输入特征图的通道 数， W为所述输入特 征图的宽度值， H为所述输入特 征图的高度值。 7.根据权利要求1所述的基于特征融合的小目标检测方法， 其特征在于， 训练所述目标 检测模型， 包括： 对低维样本特 征图进行尺寸变换， 得到高维样本特 征图； 将所述高维样本特征图在通道域上按通道的权值共享融合高维的语义信 息到空间域， 并再次采样， 得到 重采样样本特征图； 对所述低维样本特 征图和所述重采样 样本特征图进行融合， 得到融合样本特 征图； 利用所述融合样本特 征图构建训练集并对所述目标检测模型进行训练。 8.一种基于特 征融合的小目标检测装置， 其特 征在于， 包括： 特征混排模块， 用于对预先获取到的低维的输入特征图进行尺寸变换， 得到高维特征 图； 特征重采样模块， 用于将所述高维特征图在通道域上按通道的权值共享融合高维的语 义信息到空间域， 并再次采样， 得到 重采样特 征图； 特征融合模块， 用于对所述输入特征图和所述重采样特征图进行融合， 得到融合特征 图； 目标检测模块， 用于输入所述融合特征图至预先训练好的目标检测模型， 得到小目标 检测结果。 9.一种计算机设备， 其特征在于， 所述计算机设备包括处理器、 与所述处理器耦接的存 储器， 所述存储器中存储有程序指令， 所述程序指 令被所述处理器执行时， 使得所述处理器 执行如权利要求1 ‑7中任一项权利要求所述的基于特 征融合的小目标检测方法的步骤。 10.一种存储介质， 其特征在于， 存储有能够实现如权利要求1 ‑7中任一项所述的基于 特征融合的小目标检测方法的程序指令 。权　利　要　求　书 2/2 页 3 CN 114863196 A 3