(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111672567.X (22)申请日 2021.12.31 (71)申请人 山东大学 地址 266237 山东省青岛市 即墨滨海路72 号 (72)发明人 郑来波　郑逸凡　王德强　李玉军　 张浩　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 代理人 朱忠范 (51)Int.Cl. G06F 16/735(2019.01) G06F 16/75(2019.01) G06V 20/40(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种海量实时视频流多 级分析及监控系统 (57)摘要 本发明提供了一种海量实时视频流多级分 析及监控系统， 所述方案通过对海量视频进行分 级处理， 先利用基于视频图像运动特征的两种 低 复杂度算法和具有视频硬解码的低成本嵌入式 边缘计算终端对 大量视频进行两级筛选； 再利用 基于人工智能的YOL O算法和配置了GPU的服务器 对筛选出来的少数视频进行目标检测和推荐显 示， 与对全部视频使用相同人工智能分析算法的 系统相比， 节省了90％以上的算力配置和硬件成 本， 使得通过智能分析对所有视频进行实时分析 和监控所需投资在用户可承受的范围之内。 权利要求书2页 说明书9页 附图1页 CN 114357243 A 2022.04.15 CN 114357243 A 1.一种计算阵列， 其与管理平台通信连接， 并接入海量监控视频流， 其特征在于， 包括 运动视频流筛选单元、 超速视频流筛选单元、 目标检测与智能推荐单元、 综合业务扩展单 元； 其中： 运动视频流筛选单元， 由配置了多路视频硬解码的若干边缘计算终端组成， 每个边缘 计算终端配置了运动目标检测软件系统和通信模块， 用于对接入的海量视频流的每一路计 算累积帧间差， 筛 选出存在运动对象的多路初选 视频流； 超速视频流筛选单元， 由配置了多路视频硬解码的若干边缘计算终端组成， 每个边缘 计算终端配置了超速运动目标检测软件系统和通信模块， 用于对接入的初选视频流的每一 路通过多质心位移法计算 运动目标速度， 筛 选出存在超速运动目标的多路复选 视频流； 目标检测与智能推荐单元， 由配置了GPU的若干服务器构成， 每 台服务器配置有目标检 测与推荐软件系统， 基于深度学习算法对所述复选视频路中的视频流进行实时分析处理， 完成运动目标检测与分类， 以及根据所述管理平台预先制定分析策略的多路视频流的智能 推荐， 并根据预设的评分策略筛 选出高关注度的若干路视频路显示于监控大屏之上。 2.如权利要求1所述的一种计算阵列， 其特征在于， 所述监控大屏用于显示经目标检测 与智能推荐单 元筛选的视频路中的视频流， 供值班人员监看分析； 或， 供值班人员从中选择重点 监看的视频路， 实施连续 监看。 3.如权利要求1所述的一种计算阵列， 其特征在于， 所述计算阵列还包括综合业务扩展 单元， 其用于为特定业务需求提供扩展接口， 实现对筛选出 的视频路中的视频流进行针对 性的处理分析。 4.如权利要求1所述的一种计算阵列， 其特征在于， 所述基于海量视频流及累积帧间差 计算， 筛选出存在运动对象的初选 视频流， 具体为： 对于获取的每一路视频流， 计算当前视频流相邻帧之间的帧间差并进行累积， 获得累 积帧间差图像； 计算所述累积帧间差 图像的像素值之和， 与第一预设阈值进行比较， 确定当前路视频 流中是否包 含运动对象。 5.如权利要求1所述的一种计算阵列， 其特征在于， 基于若干路初选视频流以及运动目 标速度测算方法， 筛 选出存在超速运动目标的复选 视频流， 具体为： 对于每路视频流， 分别对视频帧图像中的运动目标进行边缘检测， 获得二值化差分图 像； 将所述二值化差分图像进行区域划分， 并计算各区域的质心； 基于相邻帧二 值化差分图像的质心位置变化， 确定每 个质心的瞬时位移速度； 基于各区域质心瞬时位移速度的均值与第 二预设阈值进行比较， 确定当前路视频流中 是否包含超速运动目标。 6.如权利要求1所述的一种计算阵列， 其特征在于， 所述分析策略包括但不限于暴力 袭 击监控、 超速车辆跟踪及群体事件监测， 其中， 不同分析策略对应于利用不同训练集进行预 训练的神经网络模型。 7.一种管理平台， 其与所述计算阵列通信连接， 其特 征在于， 包括： 配置单元， 其用于对所述计算阵列中的计算资源、 阈值 参数、 以及算法模型进行制定； 控制单元， 其用于基于制定的配置信 息， 对所述计算阵列中的计算资源进行动态调配；权　利　要　求　书 1/2 页 2 CN 114357243 A 2以及对运动目标检测阈值、 深度学习模型进行配置 。 8.如权利要求7所述的一种管理平台， 其特征在于， 所述管理平台还用于对所述存储区 域网进行存 储策略的配置， 以及动态调整历史视频的存 储时长； 以及， 对所述 监控大屏配置 显示路数、 显示方式、 视频排序方式及更新方式； 以及， 对所述综合 业务分析大屏配置 显示方式及更新策略。 9.一种海量实时视频流多级分析及监控系统， 其特征在于， 包括如权利要求1 ‑6任一项 所述的计算阵列、 如权利要求7 ‑8任一项所述的管理平台、 存 储局域网以及监控大屏， 其中： 所述存储局域网， 其用于基于所述管理平台指定的存储策略， 对所述计算阵列筛选出 的视频路中的视频流进行存 储； 所述监控大屏， 其用于显示经过计算阵列中目标检测与智能推荐单元筛选出来的视 频。 10.如权利要求9所述的一种海量实时视频流多级分析及监控系统， 其特征在于， 所述 系统还包括综合业务分析大屏， 其用于显示综合业务扩展 单元中配置的不同业务的智能分 析结果。权　利　要　求　书 2/2 页 3 CN 114357243 A 3