(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210483252.9 (22)申请日 2022.05.06 (65)同一申请的已公布的文献号 申请公布号 CN 114581748 A (43)申请公布日 2022.06.03 (73)专利权人 南京大学 地址 210023 江苏省南京市栖霞区仙林大 道163号 (72)发明人 俞扬　詹德川　周志华　仲伟渊　 袁雷　 (74)专利代理 机构 南京乐羽知行专利代理事务 所(普通合伙) 32326 专利代理师 李玉平 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/774(2022.01)G06K 9/62(2022.01) G06N 20/00(2019.01) (56)对比文件 CN 113313154 A,2021.08.27 CN 113905384 A,202 2.01.07 CN 111198966 A,2020.0 5.26 CN 113807460 A,2021.12.17 WO 2022001119 A1,202 2.01.06 王远大.机器人深度强化学习控制方法研 究. 《中国优秀博硕士学位 论文全文数据库(博 士)信息科技 辑》 .2022, Pablo Hernandez -Leal 等.A survey and critique of multia gent deep reinforcement learning. 《Auto nomous Agents and Multi- Agent System s》 .2019, 审查员 武茹茹 (54)发明名称 基于机器学习的多智能体感知融合系统及 其实现方法 (57)摘要 本发明公开一种基于机器学习的多智能体 感知融合系统及其实现方法， 多个智能体在行驶 过程中通过摄像头采集道路环 境图片， 根据采集 的道路环 境图片制作训练数据集； 使用训练数据 集训练算法模 型， 并将算法模型部署在计算芯片 上； 使用过程： 智能体行驶过程中， 通过摄像头采 集道路环境图片， 并发送给计算芯片， 在计算芯 片中运行算法模型， 提取图片中的特征， 对多摄 像头图片进行特征融合， 对融合好的特征进行多 任务预测， 得到环境信息， 使用通信模块将环境 信息分享给周边智能体并获取周边智能体分享 的环境信息， 计算芯片将通信获取的环境信息进 行融合， 完善自身环境信息。 本发明增加了智能 体感知范围， 降低了智 能体感知盲区， 提高了智 能体的决策精度。 权利要求书3页 说明书8页 附图1页 CN 114581748 B 2022.09.23 CN 114581748 B 1.一种基于 机器学习的多智能体感知融合系统， 其特 征在于， 包括： 摄像头， 用于采集道路环境图片数据； 计算芯片， 用于运行计算机 视觉算法； 通信模块， 用于发送自身感知信息和接收环境智能体通信模块发出的感知信息； 多个智能体在行驶过程中通过摄像头采集道路环境图片， 根据采集的道路环境图片制 作训练数据集； 使用训练数据集训练算法模型， 并将算法模型部署在计算芯片上； 使用过 程： 智能体行驶过程中， 通过摄像头采集道路环境图片， 并发送给计算芯片， 在计算芯片 中 运行算法模型， 提取图片中的特征， 对多摄像头图片进 行空间特征融合， 对时间序列图片特 征进行时间特征融合， 对融合好的特征进 行多任务预测， 得到模型输出结果， 使用通信模块 将模型预测结果分享给周边智能体， 同时通过通信模块获取周边智能体的模型输出结果， 计算芯片将通信获取的结果信息进行融合， 完 善环境信息； 制作训练数据集中， 多个智能体同时在同一道路区域中行驶， 每个智能体均安装多个 摄像头同步采集道路环境图片， 保存摄 像头参数； 算法模型包括特征提取网络， 单智能体特征融合网络， 多头预测网络， 以及多智能体感 知融合网络； 单智能体特征融合网络包括空间特征融合网络和时间特征融合网络； 特征提 取网络用于提取单摄像头采集的图片特征； 单智能体特征融合网络用于对 特征提取网络提 取的特征进 行时间融合和空间融合； 多头预测网络用于进行目标检测， 图像分割， 以及图片 分类预测任务； 多智能体感知融合网络用于融合自身和其他智能体的环境信息， 并更新自 身环境信息 。 2.一种基于 机器学习的多智能体感知融合系统的实现方法， 其特 征在于， 包括： S1， 制作训练数据集 多个智能体同时在同一道路区域中行驶， 每个智能体均安装多个摄像头同步采集道路 环境图片， 保存摄 像头参数； S2， 算法模型设计 算法模型包括特征提取网络， 单智能体特征融合网络， 多头预测网络， 以及多智能体感 知融合网络； 单智能体特征融合网络包括空间特征融合网络和时间特征融合网络； 特征提 取网络用于提取单摄像头采集的图片特征； 单智能体特征融合网络用于对 特征提取网络提 取的特征进 行时间融合和空间融合； 多头预测网络用于进行目标检测， 图像分割， 以及图片 分类预测任务； 多智能体感知融合网络用于融合自身和其他智能体的环境信息， 并更新自 身环境信息； S3， 算法模型训练 将训练数据集输入S2中设计的算法模型， 对算法模型进行训练， 直到算法模型收敛达 到最佳性能； 算法模型保存为文件， 用于算法模型部署； S4， 算法模型部署 将S3中训练好的算法模型文件部署在安装有摄像头， 通信模块及计算芯片的智能体 上； S5， 系统应用 部署有多智能体感知融合系统的智能体在道路中行驶时， 摄像头采集道路环境图片， 并发送给计算芯片， 计算芯片中的算法模型提取图片中的特征并对单智能体多摄像头的图权　利　要　求　书 1/3 页 2 CN 114581748 B 2片特征进行时间特征融合和空间特征融合， 然后对融合后的特征进行预测， 得到单智能体 算法模型输出 的环境信息； 然后通信模块将环境信息发送给环境智能体， 并接受环境智能 体发送的环境信息； 最后计算芯片将收到的环境信息与自身环境信息进行融合， 更新自身 环境信息 。 3.根据权利要求2所述的基于机器学习的多智能体感知融合系统的实现方法， 其特征 在于， 所述制作训练数据集中， 多智能体同时在同一道路区域中行驶， 每个智能体均安装多 个摄像头同步采集道路环境图片， 同时记录智能体在环境中的位置和朝向， 以及环境中智 能体、 行人、 交通标志的位置和朝向， 然后在三维向量空间中对图片 中目标进行标注， 得到 图片中不同目标的位置， 保存摄像头参数， 完成制作训练数据 的过程； 采集道路环境图片 时， 智能体需在不同道路、 不同路况、 不同天气、 不同时间段下的行驶， 保证训练集数据多样 性。 4.根据权利要求2所述的基于机器学习的多智能体感知融合系统的实现方法， 其特征 在于， 模型的输入为训练集数据， 训练集数据包括摄像头采集的道路环境图片， 摄像头参 数， 以及训练集中的智能体位置、 朝向； 摄像头参数包括安装位置、 安装角度、 焦距和像素密 度。 5.根据权利要求2所述的基于机器学习的多智能体感知融合系统的实现方法， 其特征 在于， 所述特征提取网络包括主干网络和特征融合网络， 使用基于计算机视觉算法的主干 网络对训练数据集中单智能体摄像头采集的道路环境图片进行计算， 保存不同尺度 的特 征， 使用特 征融合网络， 对不同尺度的特 征进行融合。 6.根据权利要求2所述的基于机器学习的多智能体感知融合系统的实现方法， 其特征 在于， 所述空间特征融合网络的实现中， 结合摄像头外部参数， 将 融合后的特征， 转换到一 个统一的三维向量空间， 并分割为网格， 针对每个网格， 根据摄像头参数， 计算每个网格在 单智能体多个摄像头中对应的投影位置， 然后融合特征提取网络中单智能体多摄像头采集 的道路环境图片对应位置的特征， 作为向量空间中该网格的特征； 空间特征融合的输出为 单一时刻的整个向量空间的特 征； 所述时间特征融合网络的任务是把不同时间的空间特征融合网络输出的向量空间特 征进行融合， 通过维护一个时间间隔特征栈， 也就是固定时间间隔的处理入栈和出栈； 再维 护一个空间间隔特征栈， 也就是固定智能体行驶距离间隔控制进出栈； 对时间间隔特征栈 和空间间隔特征栈中的两部分时间序列特征， 以及智能体的动力学特征信息进行特征融 合； 最终输出 单智能体特 征融合网络的输出， 用于预测网络进行 具体任务的预测。 7.根据权利要求2所述的基于机器学习的多智能体感知融合系统的实现方法， 其特征 在于， 所述多头预测网络为多个预测网络的集合， 包括目标检测网络、 图像分割网络和图片 分类网络； 使用融合后的特征作为共享特征， 通过不同功 能的预测网络分别进行不同类别 的预测任务； 使用目标检测网络， 对向量空间中的共享特征进 行预测， 输出智能体、 行人、 交 通灯、 交通标志牌的大小， 位置， 数量， 以及置信度信息； 使用图像 分割网络， 输出车道线、 可 行驶区域、 道路边缘的范围信息； 通过图片分类网络输出当前的天气、 光照、 道路路面湿滑 雨雪信息； 多头预测网络 输出的信息统称为自身感知系统输出的环境信息 。 8.根据权利要求2所述的基于机器学习的多智能体感知融合系统的实现方法， 其特征 在于， 所述多智能体感知融合网络的实现中， 通过通信模块， 自身与周围智能体进行通信，权　利　要　求　书 2/3 页 3 CN 11