(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111660250.4 (22)申请日 2021.12.3 0 (65)同一申请的已公布的文献号 申请公布号 CN 114296479 A (43)申请公布日 2022.04.08 (73)专利权人 哈尔滨工业大 学 地址 150001 黑龙江省哈尔滨市南岗区西 大直街92号 (72)发明人 白成超　郭继峰　范勇生　 (74)专利代理 机构 黑龙江立超同创知识产权代 理有限责任公司 23217 专利代理师 杨立超 (51)Int.Cl. G05D 1/10(2006.01) G06T 7/246(2017.01)G06T 7/73(2017.01) G06N 20/00(2019.01) (56)对比文件 CN 111680713 A,2020.09.18 CN 109269352 A,2019.01.25 CN 10975 3076 A,2019.0 5.14 审查员 黄蓉 (54)发明名称 一种基于图像的无人机对地面车辆跟踪方 法及系统 (57)摘要 一种基于图像的无人机对地面车辆跟踪方 法及系统， 涉及无人机跟踪技术领域， 用以解决 现有技术不能对地面车辆进行有效地实时跟踪 的问题。 本发明的技术要点包括： 利用无人机机 载相机采集包含地面车辆的图像， 通过图像处理 获取地面车辆在图像中的位置信息， 从而计算获 得地面车辆相对于无人机的视线角； 根据所述视 线角控制云台旋转 以使地面车辆始终在相机视 野范围内， 实现对地面车辆的跟踪； 进一步地， 根 据所述视线角和云台的姿态信息， 计算获得NED 坐标系下地面车辆的位置， 从而获得无人机和地 面车辆的相对距离， 并根据相对距离调整无人机 飞行速度。 本发明可以很好的锁定地面目标车 辆， 给出精确的目标定位结果， 可跟踪快速运动 的车辆目标。 权利要求书3页 说明书10页 附图4页 CN 114296479 B 2022.11.01 CN 114296479 B 1.一种基于图像的无人机对地面车辆跟踪方法， 其特征在于， 无人机携带云台和相机， 所述云台用于调整相机姿态； 所述方法包括以下步骤： 步骤一、 利用无人机机载相机采集包含地面车辆的图像， 通过对所述图像进行处理获 取所述地面车辆在图像中的位置信息； 步骤二、 根据地面车辆在图像中的位置信息计算获得地面车辆相对于无人机的视线 角； 所述视线角为： 式中， angle_x表示水平视线角， angle_y表示垂直视线角； fx,fy分别表示相机焦距f的 水平分量和垂直分量； (cx,cy)表示图像中心坐标； (xp,yp)表示地面车辆在图像中的中心位 置坐标； 步骤三、 根据所述视线角， 控制云台旋转以使地面车辆始终在相机视野范围内， 实现对 地面车辆的跟踪； 步骤四、 根据所述视线角和云台的姿态信息， 计算获得NED坐标系下地面车辆的位置， 从而获得无人机和地面车辆的相对距离； 所述地面车辆在NED坐标系下的位置坐标(xwA, ywA,zwA)的计算公式为： (xwA,ywA,zwA)＝RfwRfcTRφ β γPc 式中， Rfw表示无人机机体坐标系到NED坐标系的转换矩阵； Rfc表示机体坐标系下相机的 安装矩阵； Rφ β γ表示云台实时姿态对应相机坐标系到云台初始姿态对应相机坐标系的转换 矩阵， φ, β,γ 为相机相对于其初始角 度的旋转角； Pc表示根据视线角计算获得的、 地面车辆在云台初始 姿态对应相机坐标系下的位置坐标， PC＝(h×tan(angle_x),h ×tan(angle_y),h)， h表示 无人机对地高度； 步骤五、 根据所述相对距离调整无人机飞行速度， 以实现跟踪过程中对无人机飞行速 度的分段控制； 根据所述相对距离调整无 人机飞行速度的公式为： 式中， Vx表示无人机飞行速度上限； Vmax表示预设飞行最大速度阈值； △x表示无人机和 地面车辆相对距离的水平分量； d1、 d2均为无人机和地 面车辆相对距离的水平分量阈值。 2.根据权利要求1所述的一种基于图像的无人机对地面车辆跟踪方法， 其特征在于， 步权　利　要　求　书 1/3 页 2 CN 114296479 B 2骤一中所述地面车辆在图像中的位置信息包括地面车辆在图像中的中心位置坐标和在图 像中的目标框尺寸。 3.根据权利要求2所述的一种基于图像的无人机对地面车辆跟踪方法， 其特征在于， 步 骤三的具体步骤包括： 设置地面车辆在图像中心区域时所对应的相对无人机的水平角度阈 值和垂直角度阈值分别为θx, θy， 当视线角中angle_x>θx或angle_y>θy时则认为地面车辆偏 离图像中心区域， 从而生成相对角度调节指 令， 根据相对角度调节指 令控制云台旋转， 以使 该地面车辆在图像中心区域显示。 4.一种基于图像的无人机对地面车辆跟踪系统， 其特征在于， 包括无人机、 云台、 相机、 目标图像位置获取模块、 视线角计算模块、 云台控制模块、 相对距离获取模块、 速度控制模 块； 所述无人机携带云台、 相机、 目标图像位置获取模块、 视线角计算模块、 云台控制模块、 相对距离获取模块和速度控制模块； 所述云台用于调整相 机姿态； 所述相 机用于采集包含 地面车辆的图像， 并发送给 所述目标图像位置获取模块； 所述目标图像位置获取模块， 其配置成通过对所述图像进行处理获取所述地面车辆在 图像中的位置信息； 其中， 所述 位置信息包括中心位置坐标和在图像中的目标框尺寸； 所述视线角计算模块， 其配置成根据地面车辆在图像中的位置信 息计算获得地面车辆 相对于无 人机的视线角； 所述视线角为： 式中， angle_x表示水平视线角， angle_y表示垂直视线角； fx,fy分别表示相机焦距f的 水平分量和垂直分量； (cx,cy)表示图像中心坐标； (xp,yp)表示地面车辆在图像中的中心位 置坐标； 所述云台控制模块， 其配置成根据所述视线角， 控制云台旋转以使地面车辆始终在相 机视野范围内， 实现对地面车辆的跟踪； 具体包括： 设置地面车辆在图像中心区域时所对应 的相对无人机的水平角度阈值和垂直角度阈值分别为θx, θy， 当视线角中angle_x>θx或 angle_y>θy时则认为地面车辆偏离图像中心区域， 从而生成相对角度调节指令， 根据相对 角度调节指令控制云台旋转， 以使该地 面车辆在图像中心区域显示； 所述相对距离获取模块， 其配置成根据所述视线角和云台的姿态信息， 计算获得NED坐 标系下地面车辆的位置， 从而获得无人机和地面车辆的相对距离； 所述地面车辆在NED坐标 系下的位置坐标(xwA,ywA,zwA)的计算公式为： (xwA,ywA,zwA)＝RfwRfcTRφ β γPc 式中， Rfw表示无人机机体坐标系到NED坐标系的转换矩阵； Rfc表示机体坐标系下相机的 安装矩阵； Rφ β γ表示云台实时姿态对应相机坐标系到云台初始姿态对应相机坐标系的转换 矩阵， φ, β,γ权　利　要　求　书 2/3 页 3 CN 114296479 B 3