(19)中华 人民共和国 国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202111676678.8
(22)申请日 2021.12.31
(71)申请人 中国第一汽车股份有限公司
地址 130011 吉林省长 春市汽车 经济技术
开发区新红旗大街1号
(72)发明人 王振东 张伟德 朱军 刘坤鹏
郑朝友 段锐 孙建蕾 任思阳
葛绍亮 刘加银
(74)专利代理 机构 北京博浩百 睿知识产权代理
有限责任公司 1 1134
代理人 谢湘宁
(51)Int.Cl.
G06F 9/48(2006.01)
G06F 9/50(2006.01)
(54)发明名称
多并发的数据处 理方法和装置
(57)摘要
本发明公开了一种多并发的数据处理方法
和装置。 其中, 该方法包括: 获取车辆采集到的路
测数据; 将路测数据进行分解, 生成多个待并行
处理的车辆工作任务, 其中, 车辆工作任务为控
制车辆按照指定的控制指令工作的任务; 将多个
待并行处理的车辆工作任务提交至容器集群管
理器, 其中, 容器集群管理器用于编排和调度服
务器集群中的计算资源; 通过容器集群管理器调
度多个处理容器分别对每个待并行处理的车辆
工作任务进行并行处理, 生成处理结果, 其中, 每
个处理容器具有一组所述计算资源, 计算资源用
于处理车辆工作任务。 本发明解决了现有技术中
无法充分利用硬件资源进行高并发任务处理的
技术问题。
权利要求书2页 说明书11页 附图3页
CN 114327834 A
2022.04.12
CN 114327834 A
1.一种多并发的数据处 理方法, 其特 征在于, 包括:
获取车辆采集到的路测数据;
将所述路测数据进行分解, 生成多个待并行处理的车辆工作任务, 其中, 所述车辆工作
任务为控制车辆按照指定的控制指令 工作的任务;
将所述多个待并行处理的车辆工作任务提交至容器集群管理器, 其中, 所述容器集群
管理器用于编排和调度服 务器集群中的计算资源;
通过所述容器集群管理器调度多个处理容器分别对每个待并行处理的车辆工作任务
进行并行处理, 生成处理结果, 其中, 每个所述处理容器具有一组所述计算资源, 所述计算
资源用于处 理所述车辆 工作任务。
2.根据权利要求1所述的方法, 其特征在于, 所述服务器集群包括多台服务器, 按照所
述服务器集群的计算资源的数量划分得到对应数量的所述处理容器, 所述计算资源至少包
括: 处理器 资源和存储资源, 其中, 所述服务器集训部署有至少一主服务器和至少一个从服
务器, 所述 容器集群管理器安装在所述主服 务器上, 用于监控所述从服 务器的工作状态。
3.根据权利要求2所述的方法, 其特 征在于, 所述方法还 包括:
创建所述容器集群管理器的任务处理程序, 其中, 所述任务处理程序用于按照预设参
数确定需要调取的所述处 理容器的数量;
将所述任务处 理程序进行封装, 构建任务处 理镜像;
基于所述任务处理镜像, 构建所述车辆工作任务运行时所需的容器, 其中, 所述容器包
括: 用于进行调度管理的管理容器和用于运行任务的处 理容器。
4.根据权利要求3所述的方法, 其特征在于, 通过所述容器集群管理器调度多个处理容
器分别对每 个待并行处 理的车辆 工作任务进行并行处 理, 包括:
接收到所述多个待 并行处理 的车辆工作任务, 调度至少一个管理容器和与 所述车辆工
作任务数量相同的所述处 理容器;
每个所述管理容器将对应所述车辆 工作任务分发到指定的处 理容器;
启动所述处 理容器, 每 个所述处 理容器分别对分配来的所述车辆 工作任务进行运行。
5.根据权利要求4所述的方法, 其特征在于, 在每个所述处理容器分别对分配来的所述
车辆工作任务进行运行之后, 所述方法还 包括:
合并每个所述车辆 工作任务的子运行 结果, 生成所述处 理结果;
将所述处 理结果存 储至预定的数据库, 其中, 所述数据库为允许交 互查询的数据库。
6.一种多并发的数据处 理装置, 其特 征在于, 包括:
获取模块, 用于获取 车辆采集到的路测数据;
分解模块, 用于将所述路测数据进行分解, 生成多个待并行处理的车辆工作任务, 其
中, 所述车辆 工作任务 为控制车辆按照指定的控制指令 工作的任务;
提交模块, 用于将所述多个待并行处理的车辆工作任务提交至容器集群管理器, 其中,
所述容器集群管理器用于编排和调度服 务器集群中的计算资源;
处理模块, 用于通过所述容器集群管理器调度多个处理容器分别对每个待 并行处理 的
车辆工作任务进行并行处理, 生成处理结果, 其中, 每个所述处理容器具有一组所述计算资
源, 所述计算资源用于处 理所述车辆 工作任务。
7.根据权利要求6所述的装置, 其特征在于, 所述服务器集群包括多台服务器, 按照所权 利 要 求 书 1/2 页
2
CN 114327834 A
2述服务器集群的计算资源的数量划分得到对应数量的所述处理容器, 所述计算资源至少包
括: 处理器 资源和存储资源, 其中, 所述服务器集训部署有至少一主服务器和至少一个从服
务器, 所述 容器集群管理器安装在所述主服 务器上, 用于监控所述从服 务器的工作状态。
8.根据权利要求7 所述的装置, 其特 征在于, 所述装置还 包括:
创建模块, 用于创建所述容器集群管理器的任务处理程序, 其中, 所述任务处理程序用
于按照预设参数确定需要调取的所述处 理容器的数量;
封装模块, 用于将所述任务处 理程序进行封装, 构建任务处 理镜像;
构建模块, 用于基于所述任务处理镜像, 构建所述车辆工作任务运行时所需的容器, 其
中, 所述容器包括: 用于进行调度管理的管理容器和用于运行任务的处 理容器。
9.根据权利要求8所述的装置, 其特 征在于, 所述处 理模块包括:
接收子模块, 用于 接收到所述多个待并行处 理的车辆 工作任务;
调度子模块, 用于调度至少一个管理容器和与 所述车辆工作任务数量相同的所述处理
容器;
分发子模块, 用于每个所述管理容器将对应所述车辆工作任务分发到指定的处理容
器;
运行子模块, 用于启动所述处理容器, 每个所述处理容器分别对分配来的所述车辆工
作任务进行运行。
10.根据权利要求9所述的装置, 其特 征在于, 所述装置还 包括:
合并模块, 用于合并每 个所述车辆 工作任务的子运行 结果, 生成所述处 理结果;
存储模块, 用于将所述处理结果存储至预定的数据库, 其中, 所述数据库为允许交互查
询的数据库。权 利 要 求 书 2/2 页
3
CN 114327834 A
3
专利 多并发的数据处理方法和装置
文档预览
中文文档
17 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共17页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 人生无常 于 2024-03-19 02:02:12上传分享