(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211071915.2 (22)申请日 2022.09.02 (71)申请人 北京化工大 学 地址 100029 北京市朝阳区北三环东路15 号北京化工大 学 (72)发明人 张洋　杨兴　朱群雄　徐圆　 贺彦林　 (74)专利代理 机构 北京太兆天元知识产权代理 有限责任公司 1 1108 专利代理师 王宇 (51)Int.Cl. G06F 9/50(2006.01) G06T 5/00(2006.01) (54)发明名称 一种面向视频实时智能感知的高并发调度 与分析系统 (57)摘要 本发明涉及一种面向视频实时智能感知的 高并发调度与分析系统， 包括： 数据采集和分发 模块， 负责采集监控视频和分发视频资源。 视频 调度模块， 负责处理接受到的高并发视频流。 视 频处理队列模块， 负责缓存已获得的大量视频流 资源。 智能分析模块， 其中的视频质检对视频进 行预处理， 调用计算机视觉算法分析处理视频和 图像。 数据存储模块， 存储分析前后的视频和图 像， 并负责管理数据。 数据可视化模块， 展示算法 处理后的视频和图像， 并对统计数据与结构化分 析数据进行展示。 本发明为视频监控、 高并发调 度、 视频智能分析等领域 提供了技 术支持。 权利要求书2页 说明书6页 附图6页 CN 115509739 A 2022.12.23 CN 115509739 A 1.一种面向视频实时智能感知的高并发调度与分析系统， 包括： 数据采集和分发模块、 视频调度模块、 视频处理队列模块、 智能分析模块、 数据存储模块和数据可视化模块， 其特 征在于， 数据采集和分发模块以网络摄像机的视频图像作为输入， 由网络摄像机、 流媒体服务 器、 负载均衡服务器、 分发服务器进行视频采集、 视频编解码、 负载均衡、 智能调度分发后， 输出至各台智能分析服务器的视频处理队列中， 其中:网络摄像机将采集到视频上传到流 媒体服务器， 通过将实时采集的视频信号传入视频编码器中进行视频 的编码压缩， 然后将 编码压缩后的视频上传至流媒体服务器； 流媒体服务器对多路网络摄像机的汇 聚， 实现局 部区域的流媒体数据汇总； 负载均衡服务器进行分配分发， 通过软件层次的IP负载均衡方 法， 将响应时间越短的分发服务器优先被指定为当前 的目标分发服务器； 分发服务器进行 视频调度， 通过调用智能调 度算法， 实时计算下级连接的各台智能分析服务器的分发权重， 最大地利用服 务器性能； 视频调度模块以负载均衡服务器转发后的视频流作为输入， 由视频请求、 视频调度进 行网络请求的发送、 视频的分配后， 将视频输出至各台智能分析服务器的视频 处理队列中， 其中： 视频请求 发送大量密集网络请求， 通过发送密集的http网络请求， 不断的获取各个目 标流媒体服务器的视频； 视频调度将各个视频分配给不同智能分析服务器对应队列， 通过 考虑带宽、 分辨率、 智能分析服务器已处理的数据量、 智能分析服务器未处理的数据量， 计 算出各个智能分析服务器的优先级权重， 比较各个智能分析服务器优先级权重， 按照优先 级从高到低的顺序， 将相应的视频流发送至对应智能分析服务器的的视频处理队列模块 中， 从而实现了大量视频流的智能调度； 视频调度模块具有视频解码和视频流媒体转发功 能； 视频处理队列模块基于视频调度模块的调度 结果， 将视频片段传送至指定智能分析服 务器中的视频 处理队列中， 该队列中存储待处理的所有视频片段以及各个视频片段的基本 信息， 包括源地址、 分辨 率、 码率和帧率； 智能分析模块以视频处理队列模块中的视频流作为输入， 由视频质检、 视频分析、 图像 分析进行视频的质量检测和预 处理、 视频片段的分析、 图像片段的分析后， 将 计算机视觉算 法分析后的结果输出到数据存储模块和数据可视化模块， 其中， 通过使用视频质检功能对 已分配给各个智能分析服务器的视频流进 行质量检测， 从而实现了如镜头污渍、 画 面模糊、 视角异常、 码流过低的实时监测； 视频分析、 图片分析具有将符合视频质检的视频片段进 行 计算机视觉算法分析 的功能， 对不同场景下 的视频与图像进行目标检测、 目标识别以及目 标跟踪； 智能分析模块的智能分析算法对外提供调用接口， 供其他平台或系统进行按需调 用； 数据存储模块以智能分析的视频结果、 图片结果为输入， 由视频存储、 图像存储、 分析 数据存储、 数据管 理进行原视频和图像存储、 算法处理后的视频和图像存储、 分析后的结果 数据存储、 数据的基本管理， 其中， 视频、 图像、 分析数据存储， 具有存储原视频和图片、 算法 处理后的视频和图片、 分析后的数据结果功 能； 数据存储模块利用关系 型数据库高并发处 理的主从读写分离方法， 将读取数据库操作和写入数据库操作分离以解决多个智能分析服 务器的结果要写入数据库时或者客户端频繁大量的读取数据库数据时遇到的高并发问题； 数据存储模块还包括数据管理功能， 通过使用数据库语 言实现增加、 查询、 更新、 删除、 定时权　利　要　求　书 1/2 页 2 CN 115509739 A 2导出数据操作； 数据可视化模块以智能分析视频结果、 图片结果为输入， 由视频预览、 图像预览、 统计 数据分析进 行原视频、 原图像、 算法处理后的视频、 图像展示， 并统计数据结果； 视频预览和 图片预览提供智能分析模块中的视频分析结果、 图像分析结果预览， 通过使用网页前端技 术将视频、 图像展示到网页中； 统计数据分析对智能分析模块中的视频分析结果、 图像分析 结果进行数据统计与分析， 通过使用网页前端技术将视频分析结果和图像分析结果进 行统 计分析， 通过使用统计图、 统计表的形式将智能分析结果进 行可视化展示； 数据可视化模块 具有提供 结构化数据结果的功能。 2.根据权利要求1所述的面向视频实时智能感知的高并发调度与分析系统， 其特征在 于： 所述视频调度模块中的智能调度算法具体实现如下： (1)根据智能分析服务器硬件优良程度， 给予n个智能分析服务器对应的n个视频处理 队列初始参数α1... αn； 初始参数αk越小， 权重值ωk越大， 优先级越高， k∈[1,n]； (2)根据设计的权重公式 计算出n个智能分析服务器的权重 值， 其中αk是步骤(1)中给予的初始值， 为第k个视频处理队列待处理的bit数据量， n 为对应队列中待处理的视频数量， Xki＝该视频分辨率*位深*fps*视频长度； ε为一个常数， 保证分母不为零； Yk为第k个视频处理队列对应的智能分析服务器数据处理速度(b/s)， Yk＝ 已完成的一个视频的数据量/总用时； (3)根据n个智能分析服务器的权重值ω1...ωn分配来自于视频调度 模块中的视频源， 权重值ωk越大， 优先级越高， k∈[1,n]， 将视频源放入每台智能分析服务器对应的视频处 理队列模块中； 如果智能分析服务器空闲， 则该对应的队列队头视频源出队， 并将其放入智 能分析服 务器中去处 理； (4)反复执 行步骤(2)和(3)操作， 完成高并发大量的视频 数据处理工作。 3.根据权利要求1所述的面向视频实时智能感知的高并发调度与分析系统， 其特征在 于： 所述智能分析模块中的视频质检功能的预处 理过程如下： (1)判断视频的角度 是否异常， 包括被人故意旋转或者云台故障， 拍摄的画面不是需要 监控的场景； (2)如果异常则不处 理该视频， 并且提 示视频角度异常的信息； (3)否则继续判断是否网络卡顿； (4)如果异常则不处 理该视频， 并且提 示网络卡顿的信息； (5)否则继续判断是否 镜头污损； (6)如果存在镜 头污损， 则调用图像复原算法； (7)否则继续判断是否 视频图像画面模糊； (8)如果存在画面模糊， 则调用图像增强算法。权　利　要　求　书 2/2 页 3 CN 115509739 A 3