(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210600633.0 (22)申请日 2022.05.30 (71)申请人 深圳大学 地址 518060 广东省深圳市南 山区南海大 道3688号 (72)发明人 赵博　张磊　黄磊　梁承美　 司璀琪　 (74)专利代理 机构 深圳市君胜知识产权代理事 务所(普通 合伙) 44268 专利代理师 朱阳波 (51)Int.Cl. G01S 13/86(2006.01) G01S 13/90(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/08(2006.01) (54)发明名称 微波与光学视觉的交互感知识别方法、 装 置、 终端及 介质 (57)摘要 本发明公开了微波与光学视觉的交互感知 识别方法、 装置、 终端及介质， 方法包括： 通过设 置的深度相机拍摄获取深度图像和光学图像， 通 过雷达获取雷达SAR图像； 对所述光学图像进行 目标识别， 获取目标类别信息， 并融合深度图像， 获取目标距离信息； 将所述目标类别信息标注到 所述雷达SAR图像中； 获取多个标注后的雷达SAR 图像， 构建、 训练得到 可对雷达SAR图像自动进行 目标识别的SAR图像目标识别神经网络模型； 应 用时， 检测当前坏境数据， 根据检测到的不同坏 境数据， 控制采用SAR图像目标识别神经网络模 型与光学图像目标识别进行交互识别， 并输出识 别结果。 本发 明实现了微波雷达与光学视觉的相 互交互、 融合， 提高了系统在目标识别工作上的 稳定性， 提高了目标识别整体的准确率。 权利要求书3页 说明书14页 附图4页 CN 115015910 A 2022.09.06 CN 115015910 A 1.一种微波与光学视 觉的交互感知识别方法， 其特 征在于， 所述方法包括： 通过设置的深度相机拍摄获取深度图像和光学图像， 以及通过 雷达获取 雷达SAR图像； 对所述光学图像进行目标识别， 获取目标类别信息， 并融合深度图像， 获取目标距离信 息； 将所述目标类别 信息标注到所述雷达SAR图像中； 获取多个标注后的雷达SAR图像， 构建成一个雷达SAR图像目标数据库； 并将所述雷达 SAR图像目标数据库数据中的多个标注后的雷达SAR图像数据输入到设置的深度神经网络 进行训练， 得到训练后的可对 雷达SAR图像自动进 行目标识别的SAR图像目标识别神经网络 模型； 应用时， 检测当前坏境数据， 根据检测到的不同坏境数据， 控制采用SAR图像目标识别 神经网络模型与光学图像目标识别进行交 互识别， 并输出识别结果。 2.根据权利要求1所述的微波与光学视觉的交互感知识别方法， 其特征在于， 所述通过 设置的深度相机拍摄获取深度图像和光学图像， 以及通过雷达获取雷达SAR图像的步骤包 括： 控制开启深度相机拍摄图像， 获取深度图像和光学图像， 控制雷达进行数据采集， 并将采集的雷达数据通过雷达成像算法进行处理， 得到雷达 SAR图像。 3.根据权利要求1所述的微波与光学视觉的交互感知识别方法， 其特征在于， 所述对所 述光学图像进 行目标识别， 获取目标类别信息， 并融合深度图像， 获取目标距离信息的步骤 包括： 通过深度相机获取光学图像信息和深度图像； 利用深度神经网络对深度相机获取的所述光学图像信息， 进行实时目标识别， 获取目 标类别信息C， 以及目标 所在光学图像的区域D， 坐标 范围(xi， yi)∈D； 根据深度相机生成的深度图像， 索引目标的距离信息 。 4.根据权利要求1所述的微波与光学视觉的交互感知识别方法， 其特征在于， 所述将所 述目标类别 信息标注到所述雷达SAR图像中的步骤 包括： 将从光学图像中获取的目标类别信息， 及从深度图像中获取的目标距离信息， 融合标 注至雷达SAR图像。 5.根据权利要求4所述的微波与光学视觉的交互感知识别方法， 其特征在于， 所述将从 光学图像中获取 的目标类别信息， 及从深度图像中获取 的目标距离信息， 融合标注至雷达 SAR图像的步骤 包括： 在标注映射过程中， 将光学图像中目标所在区域D的中心坐标的yr作为深度图像目标的 方位维代表值； 其中， 雷达SAR图像的坐标系由方位维和距离维构成， 图像中包含着距离信 息和多普勒信息 。 光学图像的坐标系由横纵坐标构成， 每 个像素点由(xi,yi)表示； 根据得到的光学图像的目标类别信息， 以及从深度图像中索引到的距离信息dr， 将距离 信息dr作为光学图像中目标的距离代 表值， 抽象出光学图像的方位 ‑距离维坐标系。 6.根据权利要求5所述的微波与光学视觉的交互感知识别方法， 其特征在于， 所述将从 光学图像中获取 的目标类别信息， 及从深度图像中获取 的目标距离信息， 融合标注至雷达 SAR图像的步骤 还包括：权　利　要　求　书 1/3 页 2 CN 115015910 A 2将目标T时间内光学图像的目标方位信 息及深度图像 中的距离信 息取平均； 得到目标T 时间内目标平均方位 目标T时间内目标平均距离 将抽象出的光学图像的方位 ‑距离维坐标系、 根据距离进行分段处理， 并利用不同的比 例因子ki进行矫正， 以用于将抽象出的光学图像的方位 ‑距离维坐标系、 向雷达图像进行映 射； 计算光学图像中目标在单位时间T内的平均方位 以及平均方位所占光学图像宽度W2 的比例 η； 通过目标T时间内目标平均距离 索引出雷达SA R图像在该距离下的方位维边界[Li, Ri]； 根据平均方位所占光 学图像宽度W2的比例 η计算出光学图像中的目标在雷达SAR图像中 的方位维坐标posori； 根据目标T时间 内目标平均距离 对其进行修正 取整， 得到 光学图像 中的目标对应在SAR图像中的距离维坐标posdis， 根据方位维坐标及距离维坐标(posori, posdis)将光学图像目标位置映射到雷达SAR图像中； 并用方位维坐标及距离维坐标(posori,posdis)为原点， 以r为半径， 搜寻区域内最大连 通域Q， 该最大连通域Q为光学图像中目标对应在SAR图像中的区域； 将该连通域Q用方框标 出， 并将深度学习方法识别得到的类别信息C标注在方框下； 完成了光学图像类别信息和深 度图像距离信息向雷达SAR图片的映射。 7.根据权利要求1所述的微波与光学视觉的交互感知识别方法， 其特征在于， 所述应用 时， 检测当前坏境数据， 根据检测到的不同坏境数据， 控制采用SAR图像目标识别神经网络 模型与深度图像目标识别进行交 互识别， 并输出识别结果的步骤 包括： 应用时， 检测当前坏境数据； 当检测到的当前坏境数据中光照环境和能见度环境符合预定值， 则判断天气状况良 好， 则控制以光学图像的目标识别为主导， 雷达SAR图像目标识别为辅助反馈， 根据SAR图像 目标识别的结果进行反馈标注， 进行交 互识别， 并输出识别结果； 当检测到的当前坏境数据中光照环境和能见度环境不符合预定值， 则控制以雷达SAR 图像目标识别为主导， 光学图像目标识别为辅助参 考， 进行交 互识别， 并输出识别结果。 8.一种微波与光学视 觉的交互感知识别装置， 其特 征在于， 所述装置包括： 图像获取模块， 用于通过设置的深度相机拍摄获取深度图像和光学图像； 雷达图像获取模块， 用于通过 雷达获取 雷达SAR图像； 识别模块， 用于对所述光学图像进行目标识别， 获取目标类别信息， 并融合深度图像， 获取目标距离信息； 标注融合模块， 用于将所述目标类别 信息标注到所述雷达SAR图像中； SAR图像目标识别神经网络模型训练模块， 用于获取多个标注后的雷达SAR图像， 构建 成一个雷达SAR图像目标数据库； 并将所述雷达SAR图像目标数据库数据中的多个标注后的 雷达SAR图像数据输入到 设置的深度神经网络进行训练， 得到训练后的可对雷达SAR图像自 动进行目标识别的SAR图像目标识别神经网络模型； 交互应用模块， 用于应用时， 检测当前坏境数据， 根据检测到的不同坏境数据， 控制采权　利　要　求　书 2/3 页 3 CN 115015910 A 3