(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210990221.2 (22)申请日 2022.08.18 (71)申请人 中国农业大 学 地址 100083 北京市海淀区 圆明园西路2号 (72)发明人 刘金存　刘杨　安冬　位耀光　 李道亮　 (74)专利代理 机构 北京高沃 律师事务所 1 1569 专利代理师 韩雪梅 (51)Int.Cl. G06V 20/05(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/40(2022.01) G06V 10/80(2022.01) (54)发明名称 一种水下鱼类目标检测方法及装置 (57)摘要 本发明涉及一种水下鱼类目标检测方法和 装置。 所述水下鱼类目标检测方法通过采用目标 检测主干网络， 能够有效的提取并融合输入的水 下鱼类图像全局相关性特征和局部相关性特征， 增强了特征提取和复用能力， 并且， 通过采用目 标检测网络模 型， 基于目标检测主干网络得到的 融合特征得到包含目标分类信息和目标位置信 息的目标检测结果， 能够显著提高目标检测的精 度。 权利要求书2页 说明书11页 附图4页 CN 115311544 A 2022.11.08 CN 115311544 A 1.一种水 下鱼类目标检测方法， 其特 征在于， 包括： 获取水下鱼类图像和目标检测主干网络； 所述目标检测主干网络包括： 视觉自注意力 路径、 卷积神经网络路径和特 征融合模块； 将所述水 下鱼类图像输入至所述目标检测主干网络中得到融合特 征； 将所述融合特征输入至目标检测网络模型得到目标检测结果； 所述目标检测结果包 括： 目标分类信息和目标位置信息； 所述 目标检测网络模型通过带有标注信息的水下鱼类 图像数据集训练得到 。 2.根据权利要求1所述的水下鱼类目标检测方法， 其特征在于， 所述将所述水下鱼类图 像输入至所述目标检测主干网络中得到融合特 征， 具体包括： 将所述水 下鱼类图像输入所述视 觉自注意力路径得到全局相关性特 征； 将所述水 下鱼类图像输入所述卷积神经网络路径得到局部相关性特 征； 融合所述全局相关性特征和所述局部相关性特征得到融合特征； 所述融合特征包括： 第一输出 特征、 第二输出 特征、 第三输出 特征和第四输出 特征。 3.根据权利要求2所述的水下鱼类目标检测方法， 其特征在于， 所述特征融合模块包 括： 第一特征融合子模块、 第二特征融合子模块、 第三特征融合子模块和 第四特征融合子模 块； 所述视 觉自注意力路径和所述卷积神经网络路径均包括四个特 征提取模块； 所述水下鱼类图像分别输入所述视觉自注意力路径的第一个特征提取模块和所述卷 积神经网络路径的第一个特征提取模块， 所述视觉自注意力路径的第一个特征提取模块的 输出特征与所述卷积神经网络路径的第一个特征提取模块的输出特征经所述第一特征融 合子模块融合后， 得到第一输出 特征； 将所述第一输出 特征输入至所述目标检测网络模型； 将所述第一输出特征分别输入所述视觉自注意力路径的第二个特征提取模块和所述 卷积神经网络路径的第二个特征提取模块， 所述视觉自注意力路径的第二个特征提取模块 的输出特征与所述卷积神经网络路径的第二个特征提取模块的输出特征经所述第二特征 融合子模块融合后， 得到第二输出特征； 将所述第二输出特征输入至所述 目标检测网络模 型； 将所述第二输出特征分别输入所述视觉自注意力路径的第三个特征提取模块和所述 卷积神经网络路径的第三个特征提取模块， 所述视觉自注意力路径的第三个特征提取模块 的输出特征与所述卷积神经网络路径的第三个特征提取模块的输出特征经所述第三特征 融合子模块融合后， 得到第三输出特征； 将所述第三输出特征输入至所述 目标检测网络模 型； 将所述第三输出特征分别输入所述视觉自注意力路径的第四个特征提取模块和所述 卷积神经网络路径的第四个特征提取模块， 所述视觉自注意力路径的第四个特征提取模块 的输出特征与所述卷积神经网络路径的第四个特征提取模块的输出特征经所述第四特征 融合子模块融合后， 得到第四输出特征； 将所述第四输出特征输入至所述 目标检测网络模 型。 4.根据权利要求3所述的水下鱼类目标检测方法， 其特征在于， 所述将所述融合特征输 入至目标检测网络模型 得到目标检测结果， 具体包括： 将所述第一输出特征、 所述第二输出特征、 所述第三输出特征和所述第 四输出特征输 入至所述 目标检测网络模型 的颈部组件进行特征融合， 得到第 五输出特征； 所述第 五输出权　利　要　求　书 1/2 页 2 CN 115311544 A 2特征包括： 第一特 征图、 第二特 征图、 第三特 征图和第四特 征图； 将所述第 一输出特征、 所述第 二输出特征、 所述第 三输出特征、 所述第四输出特征和所 述第五输出特征均输入至所述目标检测网络模型的区域提议网络组件进 行候选框筛选， 得 到候选区域特 征层； 将所述候选区域特征层输入至所述目标检测网络模型的多级检测器中得到目标检测 结果。 5.根据权利要求4所述的水下鱼类目标检测方法， 其特征在于， 所述将所述第 一输出特 征、 所述第二输出特征、 所述第三输出特征和所述第四输出特征输入至所述 目标检测网络 模型的颈 部组件进行 特征融合， 得到第五输出 特征， 具体包括： 所述第一输出特征、 所述第二输出特征、 所述第三输出特征和所述第 四输出特征输入 至所述目标检测网络模型的颈部组件中， 经特征内容感知重组上采样、 最大池化层、 卷积 层、 归一化层后得到第一特 征图、 第二特 征图、 第三特 征图和第四特 征图。 6.根据权利要求1所述的水下鱼类目标检测方法， 其特征在于， 采用带有标注信 息的水 下鱼类图像数据集训练所述 目标检测网络模型时， 设置网络训练过程中的超参数， 以标注 信息为真实值和网络训练过程中的预测值进行损失计算。 7.根据权利要求6所述的水下鱼类目标检测方法， 其特征在于， 采用带有标注信 息的水 下鱼类图像数据集训练所述 目标检测网络模型时， 设置网络训练过程中的超参数， 以标注 信息为真实值和网络训练过程中的预测值进 行损失计算， 使用跷板损失分类损失对模型进 行训练。 8.根据权利要求1所述的水下鱼类目标检测方法， 其特征在于， 采用带有标注信 息的水 下鱼类图像数据集训练所述时， 设置网络训练过程中的超参数， 使用多尺度训练策略对所 述目标检测网络模型进行训练。 9.一种水 下鱼类目标检测装置， 其特 征在于， 包括： 图像采集模块， 用于获取 水下鱼类图像； 图像处理模块， 与所述图像采集模块连接， 植入有实施如权利要求1 ‑8任意一项所述的 水下鱼类目标检测方法的计算机执行程序， 用于基于所述水下鱼类图像得到目标检测结 果。 10.一种电子设备， 其特征在于， 包括： 处理器、 通信接口、 存储器和通信总 线； 所述处理 器、 所述通信接口和所述存储器通过通信总线完成相互间的通信； 所述处理器用于调用所 述存储器中存储的逻辑指令， 以执行如权利要求1 ‑8任意一项所述的水下鱼类目标检测方 法。权　利　要　求　书 2/2 页 3 CN 115311544 A 3