(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211169210.4 (22)申请日 2022.09.26 (65)同一申请的已公布的文献号 申请公布号 CN 115269203 A (43)申请公布日 2022.11.01 (73)专利权人 环球数科集团有限公司 地址 518063 广东省深圳市南 山区粤海街 道高新南九道10号深圳湾科技生态园 10栋B座17层01- 03号 (72)发明人 张卫平　彭中华　刘顿　岑全　 米小武　郑小龙　 (74)专利代理 机构 北京清控智云知识产权代理 事务所 (特殊普通合伙) 11919 专利代理师 林淡如(51)Int.Cl. G06F 9/50(2006.01) G06F 9/54(2006.01) (56)对比文件 CN 110221907 A,2019.09.10 审查员 马丹凤 (54)发明名称 一种基于MapReduce模型的分布式并行计算 编程系统 (57)摘要 本发明提供了一种基于MapReduce模型的分 布式并行计算编程系统， 包 括Map模块、 Reduc e模 块、 任务调度模块、 任务追踪模块、 输入模块、 输 出模块和中转模块， 输入模块用于输入待处理文 件， 任务调度模块用于将任务分配给Map模块， Map模块和Reduc e模块均用于 执行任务， Map模 块 执行的为一级任务， Reduc e模块执行的为二级任 务， 任务追踪模块用于追踪一级任务的完成情 况， 输出模块用于输出Reduce模块的执行结果， 中转模块用于将Map模块的执行结果发送至 Reduce模块。 该系统通过对在Map模块与Reduce 模块之间的数据传输进行优化， 提高了整个系统 的计算处 理效率。 权利要求书2页 说明书6页 附图3页 CN 115269203 B 2022.12.27 CN 115269203 B 1.一种基于MapReduce模型的分布式并行计算编程系统， 其特征在于， 包括Map模块、 Reduce模块、 任务调度模块、 任务追踪模块、 输入模块、 输出模块和中转模块， 所述输入模块 用于输入待处理文件， 所述任务调度模块用于将任务分配给所述Map模块， 所述Map模块和 所述Reduce模块均用于执行任务， 所述Map 模块执行的为一级任务， 所述 Reduce模块执行的 为二级任务， 所述任务追踪模块用于追踪一级任务的完成情况， 所述输出模块用于输出所 述Reduce模块的执行结果， 所述中转模块用于将Map模块的执行结果发送至所述Reduce模 块； 所述Map模块包括至少一个一级任务处理单元， 所述Reduce模块包括至少一个二级任 务处理单元， 所述一级任务处理单元处理一级任务后得到至少一个一级执行结果， 所述一 级执行结果包括结果属性和结果数据， 所述一级 执行结果根据所述结果属性 发送至对应的 二级任务处理单元， 每个二级任务处理单元只能够处理同一类结果属 性的一级执行结果， 所述二级任务处理单元从不同的一级任务处理单元中接 收具有相同结果属 性的一级执行 结果， 计算处理后得到二级执行结果， 所述输出模块将所有二级 执行结果整合后输出， 所述 一级任务处 理单元在同一时间只能处 理一个分片； 所述任务调度模块将待处理文件切分成至少一个分片， 每个分片对应一个一级任务， 所述任务调度模块将待处理文件切分成分片后， 将分片的数量发送给所述任务追踪模块， 所述任务追踪模块将处于空闲状态且与分片等数量的一级任务处理单元地址发送给所述 任务调度模块， 所述任务追踪模块将一级任务处理单元的状态从空闲状态更改为运行状 态， 每个分片赋予一个 分片编号， 所述分片编号包括母编号和子编号， 所述母编号用于表 示 待处理文件， 所述子编号用于表示分片的序号， 一件待处理文件切分得到的分片具有相同 的母编号； 所述任务追踪模块对一级任务处理单元停止追踪并将其状态从运行状态更改为空闲 状态， 所述二级任务处理单元包括至少一个处理组件， 每个处理组件只能处理同一个母编 号的一级执行结果， 缓存区域根据母编号信息将一级执行结果发送给对应的处理组件， 当 所有处理组件均 处于工作状态时且缓存区域中存在母编号与 处理组件均不对应的一级执 行结果时， 一级执 行结果将暂时存放于缓存区域中直至其中一个处 理组件转为空闲状态； 所述中转模块包括传输队列、 调整单元和映射表， 所述传输队列用于接收一级执行结 果， 所述调整单元用于对一级执行结果的排序进行调整， 所述映射表用于记录结果属 性与 二级处理单元的映射关系； 所述传输队列包括固定部分和可调部分， 所述可调部分分为已调部分和未调部分， 所 述调整单元根据排序指数对可调部分中的一级执行结果顺序进行调整的过程包括如下步 骤： S21、 获取一级执行结果在未调部分中的序号， 记为j， 计算出一级执行结果的优先指数 R： ； 其中， k为未调部分含有的一级执 行结果数量， Q 为排序指数； S22、 将优先指数最大的一级执 行结果放入已调部分； S23、 不断重复步骤S21和步骤S2 2、 直至未调部分只剩一个一级执 行结果；权　利　要　求　书 1/2 页 2 CN 115269203 B 2S24、 将未调部分中的一级执 行结果放入已调部分； 所述调整单元计算出可调部分的每一个一级执行结果的排序指数， 然后 根据排序指数 对一级执 行结果顺序进行调整， 计算 一级执行结果排序指数的过程包括如下步骤： S1、 记录下 所述传输队列接收到一级执 行结果的时间t； S2、 从所述任务调度模块中获取该一级执行结果的母编号对应的最大子编号， 即该一 级执行结果所属待处 理文件对应的一级任务数量 ； S3、 从所述任务追踪模块中获取正在运行对应母编号的一级任务处理单元数量， 记为 ， 以及这 个一级任务处理单元的运行状态百分比值 ， i为运行序号， i的取值范围为 ； S4、 根据下式计算出一级执 行结果的排序指数Q： ； 其中， 表示当前时间点， 为等待时间基数， 为该一级执行结果所属待处理文 件对应的一级任务数量， 为这 个一级任务处理单元中第i个一级任务处理单元的运行 状态百分比值。 2.如权利 要求1所述的一种基于MapReduce模型的分布式并行计算编程系统， 其特征在 于， 所述任务调度模块包括切分单元、 任务包装单元、 任务分配单元， 所述切分单元将待处 理文件切分成分片并为每个分片赋予一个分片编号， 所述任务包装单元将分片及其分片编 号打包成一个任务包， 所述任务分配单 元将所述任务包发送至对应的一级任务处 理单元。 3.如权利 要求2所述的一种基于MapReduce模型的分布式并行计算编程系统， 其特征在 于， 所述任务追踪模块包括对每一个一级任务处理单元 的状态进行实时记录， 状态包括空 闲状态和 运行状态， 所述运行状态通过一个百分比值表示， 当一级任务处理单元 的运行状 态达到100%并将一级 执行结果 发送至所述二级任务处理单元后， 所述任务追踪模块将该一 级任务处 理单元的状态从运行状态更改为空 闲状态。权　利　要　求　书 2/2 页 3 CN 115269203 B 3