(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210967369.4 (22)申请日 2022.08.12 (71)申请人 深圳朗道智通科技有限公司 地址 518000 广东省深圳市南 山区西丽 街 道同沙路凯达尔大厦 (72)发明人 许仲秋　张欢　 (74)专利代理 机构 安徽思沃达知识产权代理有 限公司 342 20 专利代理师 李彦程 (51)Int.Cl. G06V 10/40(2022.01) G06V 10/764(2022.01) G06V 10/766(2022.01) G06V 10/80(2022.01) G06F 12/02(2006.01)H04L 67/1097(2022.01) (54)发明名称 一种远程驾驶巡 逻车系统 (57)摘要 本发明公开了一种远程驾驶巡逻车系统， 属 于无人驾驶领域， 包括控制平台、 车载摄像头、 通 信连接模块、 目标检测模块、 参数调整模块、 故障 检测模块、 内置存储模块、 云端数据库以及警报 模块； 本发 明通过构建一级目标检测网络以及二 级目标检测网络对采集到的影像数据进行过级 联分析， 能够更加准确的对巡逻环 境中的各物体 信息进行分析， 提高巡逻车目标检测的准确性， 提高相关人员分析效率， 减少相关人员工作量， 能够自行对内部存储的数据进行回收删除， 提高 该系统内存利用率， 防止冗余数据过多降低通信 传输效率， 保证系统运行稳定 。 权利要求书2页 说明书5页 附图1页 CN 115409992 A 2022.11.29 CN 115409992 A 1.一种远程驾驶巡逻车系统， 其特征在于， 包括控制平台、 车载摄像头、 通信连接模块、 目标检测模块、 参数调整模块、 故障检测模块、 内置存 储模块、 云端数据库以及警报模块； 其中， 所述控制平台用于管理员登录并控制巡逻车行驶， 同时接收各子模块反馈信息 并以图形化形式供 管理人员查看； 所述车载摄像头用于 巡逻车采集周围环境信息以生成影 像数据； 所述通信连接模块用于 接收控制平台发送的控制指令， 并进行通信检测； 所述目标检测模块用于 接收影像数据， 并对其进行分析反馈； 所述参数调整模块用于收集巡 逻车行驶参数， 再对巡 逻车进行优化调整； 所述故障检测模块用于时候接收巡 逻车行驶数据， 并进行故障反馈； 所述内置存 储模块用于临时存 储巡逻车各组数据， 同时定期进行 数据回收； 所述云端数据库用于 接收并存 储控制平台上传的各组数据； 警报模块用于接收目标检测模块反馈的各组数据， 并依据 数据内容向管理人员发送警 报信息。 2.根据权利要求1所述的一种远程驾驶巡逻车系统， 其特征在于， 所述通信连接模块通 信检测具体步骤如下： 步骤一： 通信连接模块创建一组文件描述符形式的套接字， 并将生成的套接字与本地 IP地址端口进行绑定以设置监听； 步骤二： 监 听设置成功后， 通信连接模块等待并接收客户端的连接请求， 并获取一组新 的文件描述符， 同时调用ac cept函数检测文件描述符的读缓冲区； 步骤三： 若读缓冲区检测不到数据， 则该函数阻塞， 并断开该连接， 若读缓冲区检测到 数据， 则解除阻塞， 并建立连接 。 3.根据权利要求1所述的一种远程驾驶巡逻车系统， 其特征在于， 所述目标检测模块分 析反馈具体步骤如下： 步骤(1)： 目标检测模块处理影像数据中固定帧率的视频或图像序列帧， 之后计算并记 录实际视频帧的间隔时间， 同时构建一级目标检测网络对影像数据进行逐帧提取巡检图 片， 并依据各组巡检图片的不同尺寸构建图片数据集； 步骤(2)： 之后将采集到的各组环境巡检图片按照管理员设定的不同分辨率进行缩放， 并依据缩放完成的巡检图片构建图像金字塔， 提取图片数据集中各组巡检图片的特征信 息， 并将各组特征信息送入双向特征金字塔中进行特征融合， 再通过图像金字塔对其进行 尺度归一 化处理， 并输出检测框， 类别和分数； 步骤(3)： 对巡检图片中物体检测框信息进行收集， 并生成对应检测框坐标， 并对相关 巡检图片进行扩大化剪裁， 并收集扩大化剪裁后的各组物体图片， 再通过内置存储模块进 行暂时存储， 之后构建二级目标检测网络过滤掉各组物体图片中属于背景 的简单负样本， 挑选出可能含有物体的区域进行分类和回归； 步骤(4)： 在五个语义信息有高有低的物体 图片的每一个点上生成规定比例以及大小 的九个锚框并对这些锚框进行分类和回归， 再通过扩大化剪裁对各组物体图片中的物体位 置进行检测， 并将检测结果反馈 至控制平台， 同时进行目标跟踪。 4.根据权利要求3所述的一种远程驾驶巡逻车系统， 其特征在于， 步骤(4)中所述目标 追踪具体步骤如下：权　利　要　求　书 1/2 页 2 CN 115409992 A 2第一步： 通过卡尔曼滤波理论建立运动模型， 同时通过构建的运动模型实时获取各物 体的运动状态， 之后运动模型依据对各物体的线性运动假设， 对其在视频帧中的运动状态 进行定义； 第二步： 收集各物体在当前视频帧中的运动状态， 并构建预测方程对各物体在下一视 频帧中的运动状态进行估计， 并依据多目标实时检测 算法计算出 的第i个车载摄像头当前 视频帧中所有物体的检测结果； 第三步： 计算检测结果与物体之间的余弦距离， 并通过人工设定的阈值进行过滤以得 到余弦距离表征的代价矩阵， 之后进行二分匹配以得到匹配结果 集合； 第四步： 目标检测模块对于最终匹配失败的物体的运动模型中的卡尔曼增益和 协方差 矩阵进行更新， 更新完成后， 重新对最终匹配失败的各组物体进行匹配， 匹配完成后， 依次 并行处理每一路视频流的视频帧数据， 并对每一路视频流中下采样后得到的视频帧依次执 行物体标记、 估计物体的运动状态、 匹配关联以及跨 监控多物体跟踪。 5.根据权利要求1所述的一种远程驾驶巡逻车系统， 其特征在于， 所述参数调整模块优 化调整具体步骤如下： S1.1： 参数调整模块接收巡逻车各项行驶数据， 并构建该巡逻车相对应的优化神经网 络， 优化神经网络采用独立编码器将各项行驶数据中非二进制的数据转换为 二进制； S1.2： 再通过归一化处理将各项行驶数据转换至规定检测区间内， 之后将各项行驶数 据分为验证集、 测试集以及训练集,同时重复多次使用验证集中的各组数据对该巡逻车行 驶稳定性进行验证； S1.3： 统计测试集中各数据均方根误差， 再对每组数据都进行一次预测， 并将预测结果 最好的数据作为最优参数输出， 之后依据最优参数对训练集进行标准化处理生成训练样 本， 之后将训练样本输送到优化神经网络中， 并采用长期迭代法对该巡逻车行驶效率进行 实时优化， 并通过焦点损失函数对该巡 逻车行驶过程的损失值进行计算； S1.4： 参数分析模块接受计算出的各组损失值并进行准确率、 检出率以及误报率分析， 并将分析结果反馈给工作人员进行分析调整， 同时构建上层控制器以及下层控制器， 再基 于模糊控制理论以及纵向动力学生成驱动控制以及制动控制， 并依据生成的驱动控制以及 制动控制对巡 逻车进行参数优化。 6.根据权利要求1所述的一种远程驾驶巡逻车系统， 其特征在于， 所述内置存储模块数 据回收具体步骤如下： S2.1： 控制平台依据系统默认或人工设定的循环时间值定期对内置存储模块临时存储 数据进行回收率计算， 并向内置存 储模块下发回收指令； S3.1： 内置存储模块收回收指令后启动， 并接收控制平台计算的回收率数值， 再抽取各 组临时存储数据， 并依据计算出的回收率对临 时存储数据进 行回收， 之后生 成回收日志， 并 将回收数据信息 以及回收日期记录在回收日志中， 并将其反馈至控制平台供管理人员查 看。权　利　要　求　书 2/2 页 3 CN 115409992 A 3