(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210646528.0 (22)申请日 2022.06.08 (71)申请人 中国船舶集团有限公司系统工程研 究院 地址 100094 北京市海淀区丰贤东路1号 (72)发明人 田思佳　段懿洋　刘东航　王超　 何晓　 (74)专利代理 机构 中国船舶专利中心 1 1026 专利代理师 李朝翠 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/22(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于神经网络的智能航行态 势感知系统 (57)摘要 本发明公开了一种基于神经网络的智能航 行态势感知系统， 包括： 图像发布模块， 用于获取 外部视频流数据并转换成图像数据； 目标检测模 块， 基于Dense ‑YOLO网络进行海上多目标的检 测， 将检测获取的目标物体的位置和类别作为输 出； 控制模块， 获取目标检测模块的输出数据， 定 制航线规划和决策指令， 并输出至物理执行设 备； 图像发布模块、 目标检测模块、 控制模块之间 基于ROS框架通信。 本发明的有益效果： 本发明使 用融合了Densenet网络的YOL OV3算法， 对海上多 目标对象进行检测， 获取目标类别和位置信息； 在系统开发和工程应用验证方面， 基于机器人操 作系统(ROS)制定整体的解决方法； 通过软件算 法和系统框架的多层面择优构建， 最终形成了智 能航行态 势感知系统。 权利要求书1页 说明书4页 附图2页 CN 115115974 A 2022.09.27 CN 115115974 A 1.一种基于神经网络的智能航行态 势感知系统， 其特 征在于： 所述感知系统包括： 图像发布模块， 用于获取外 部视频流数据， 并转换成图像数据； 目标检测模块， 获取 图像发布模块处理后的图像数据， 基于Dense ‑YOLO网络进行海上 多目标的检测， 将检测获取的目标物体的位置和类别作为输出； 控制模块， 获取目标检测模块的输出数据， 定制航线规划和决策指令， 并输出至物 理执 行设备； 其中， 所述图像发布模块和目标检测模块之间， 目标检测模块和控制模块之间基于ROS 框架通信。 2.根据权利要求1所述的基于神经网络的智能航行态势感知系统， 其特征在于： 所述图 像发布模块将视频流数据中的图像 类型转换为ROS定义的内部图像 类型。 3.根据权利要求1所述的基于神经网络的智能航行态势感知系统， 其特征在于： 所述目 标检测模块至少包 含有Dense ‑YOLO模块； 所述Dense ‑YOLO模块以YOLO  V3网络模型作为主体构建， 用于对图像内容进行检测， 输 出检测到的目标物体位置信和类别 信息。 4.根据权利要求3所述的基于神经网络的智能航行态势感知系统， 其特征在于： 所述目 标检测模块至少包 含有密集神经网络模块； 所述密集神 经网络模块以Dense ‑YOLO网络作为基础构建， 内嵌在Dense ‑YOLO模块中， 替换Dense ‑YOLO模块中的残差神经网络模块。 5.根据权利要求4所述的基于神经网络的智能航行态势感知系统， 其特征在于： 所述密 集神经网络模块至少包含密集神经网络模块一和密集神经网络模块二； 所述密集神经网络 模块一替换Dense ‑YOLO模块中对尺度2进行预测输入的残差神经网络模块， 密集神经网络 模块二替换Dense ‑YOLO模块中对尺度3进行 预测输入的残差神经网络模块。 6.根据权利要求1所述的基于神经网络的智能航行态势感知系统， 其特征在于： 所述图 像发布模块和目标检测模块之间通过发布/订阅的模型传递图像信息 。 7.根据权利要求7所述的基于神经网络的智能航行态势感知系统， 其特征在于： 所述图 像发布模块接收到外部传感器或摄像头的图像数据后， 将其转换为ROS中的图像类型并通 过话题进行发布； 所述目标检测模块堵塞等待接收图像数据， 当有数据到达后， 开始以一定的频率对图 像数据进行目标检测处 理。 8.根据权利要求1所述的基于神经网络的智能航行态势感知系统， 其特征在于： 所述目 标检测模块和控制模块之间通过客户端/服 务器模型进行 数据交流。 9.根据权利要求9所述的基于神经网络的智能航行态势感知系统， 其特征在于： 所述控 制模块向目标检测模块发起检测结果的请求， 然后 堵塞等待目标检测模块应答； 所述 目标 检测模块接收到请求后， 读取视频图像， 进 行目标检测， 将 检测结果作为应答内容应答控制 模块； 所述控制模块 根据应答内容进行后续的控制动作执 行， 最终输出控制指令 。权　利　要　求　书 1/1 页 2 CN 115115974 A 2基于神经 网络的智能航行态势感知系统 技术领域 [0001]本发明涉及神经网络学习技术领域， 尤其涉及一种基于神经网络的智能航行态势 感知系统。 背景技术 [0002]智能航行是利用感知获得的信息进行分析处理， 与控制技术配合， 实现智能化航 行的技术。 要实现船舶的智能航行， 船舶系统必须具备多个功能模块， 模块间相互协作。 当 前主要考虑航行环境感知、 航行态势认知和航行决策控制3方面的内容， 即 “感知空间 ” “认 知空间”和“决策执行空间 ”。 航行系统功能模块如图1所示， 其中感知 空间作为船舶进行环 境感知的关键部分， 目前融入了可见光、 红外光、 雷达等多手段信息采集处理方式， 以达到 准确感知态 势的目的。 [0003]环境感知作为智能航行的核心技术之一， 其中的海上船舶目标检测识别模块是实 现船舶智能航行 的重要前提。 光电视觉系统能够获取更加丰富的目标特征信息， 在海上近 距离目标感知、 判断与 识别中具有独特的优势， 并随着视觉信息处理技术的发展， 受到越来 越多的关注。 [0004]真实海面背景复杂、 光线多变、 船舶目标发生形变等是海上船舶目标检测任务的 主要难点。 传统的基于视觉的目标检测方法， 基本路线 是”滑动窗口搜索、 目标特征提取、 分 类器分类识别 ”。 由于存在大量冗余窗口、 手工设计特征难以准确描述 目标物体等问题， 传 统目标检测方法难以满足 实际任务中的精度要求。 [0005]同时， 海上船舶智能航行遵从 “感知‑控制‑执行”的工作模式， 涉及层面从应用程 序到底层硬件、 传感器。 在 复杂船舶硬件平台下进行任务创建和行为控制对技术开发门槛 要求很高。 发明内容 [0006]为了解决上述技术问题， 本发明实施例提供一种基于神经网络的智能航行态势感 知系统， 针对真实海面背 景复杂、 光线多变、 船舶目标发生形变等海 上船舶目标检测任务的 难点问题， 基于 机器人操作系统(ROS)制定整体解决方案 。 [0007]本发明实施例提供了一种基于神经网络的智能航行态 势感知系统， 其特 征在于： [0008]图像发布模块， 用于获取外 部视频流数据， 并转换成图像数据； [0009]目标检测模块， 获取图像发布模块处理后的图像数据， 基于Dense ‑YOLO网络进行 海上多目标的检测， 将检测获取的目标物体的位置和类别作为输出； [0010]控制模块， 获取目标检测模块的输出数据， 定制航线规划和决策指令， 并输出至物 理执行设备； [0011]其中， 图像发布模块和目标检测模块之间， 目标检测模块和控制模块之间基于 ROS 框架通信。 [0012]进一步地， 图像发布模块将视频流数据 中的图像类型转换为ROS定义的内部图像说　明　书 1/4 页 3 CN 115115974 A 3