(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211105101.6 (22)申请日 2022.09.09 (71)申请人 苏州亿博尔大 数据科技有限公司 地址 215000 江苏省苏州市高新区竹园路 209号4号楼17层1709-26 工位 (72)发明人 朱杰　梁倩　王现思　 (74)专利代理 机构 北京天盾知识产权代理有限 公司 11421 专利代理师 丁敬博 (51)Int.Cl. G06F 9/50(2006.01) (54)发明名称 一种大数据访问请求分流方法和系统 (57)摘要 本发明涉及一种大数据访问请求分流方法 和系统， 所述方法包括:判断处理单元的负载情 况， 并将处理单元标识及其负载情况放入相应的 处理单元集合中； 基于负载系数调整当前的访问 请求的分派方式， 将部分原 本分派到重负载集合 中的处理单元的访问请求分派到轻负载集合中 的处理单元； 本发明将访问请求本身的特性和处 理单元既有硬件资源情况、 处理单元当前现场状 态情况相结合， 基于处理单元集合作请求的重新 分派， 从而达到全局负载均衡的状态， 提高了众 处理单元的执行效率。 权利要求书2页 说明书8页 附图1页 CN 115495236 A 2022.12.20 CN 115495236 A 1.一种大 数据访问请求分流方法， 其特 征在于， 包括： 步骤S1： 在分流时机到来时， 判断处理单元的负载情况， 并将处理单元标识及其负载情 况放入相应的处理单元集合中； 具体的： 依次监测每个处理单元的负载情况， 计算反映负载 情况的处理单元的当前负载系数LUk， 基于当前负载系数更新负载系数， 并将更新后的负载 系数LUk和处理单元标识关联存储； 将负载系数大于重负载阈值的处理单元放入重负载集 合中； 将负载系数小于轻负载阈值的处理单元放入轻负载集合中； 其中： 所述负载系数反映 处理单元的负载情况； 步骤S2： 对于待分派访问请求， 基于负载系数调整当前的访问请求的分派方式， 将部分 原本分派到 重负载集 合中的处 理单元的访问请求分派到轻负载集 合中的处 理单元； 所述步骤S2具体包括如下步骤： 步骤S21： 判断基于当前的访问请求分派方式， 访问请求是否被分派到重负载集合中； 如果是， 则进入下一步骤； 否则， 不进行调整， 将当前的访问请求分派方式分派的处理单元 作为目标处 理单元， 并进入步骤S2 9； 步骤S22： 获取访问请求的数据集参数； 其中所述数据集参数包括： 输入数据集大小 DIN、 输出数据集大小DOU T和中间数据集大小DMID； 步骤S23： 获取每个处理单元Pk的通信能力参数COMk； 所述通信能力参数包括： 用于表 征 处理单元和内存之间的传输速度的第一通信速度COM1k； 和用于表征缓存空间接口的传输 速度的第二 通信速度COM2k； 步骤S24： 获取每 个处理单元的缓存负载参数LOADk； 步骤S25： 分别计算每个访 问请求的数据集参数和轻负载集合中每个处理单元的通信 能力参数、 缓存负载参数之间的第一匹配程度M Mk； 其中： MeMk是处理单元k的缓存空间尺寸； a为 等效系数； a1， a2， a3为加权系数； 步骤S26： 选取第 一匹配程度小于预设阈值的处理单元构成待选处理单元集合； 在不存 在高于预设阈值的处理单元时， 将当前的访问请求分派方式分派的处理单元作为目标 处理 单元， 并进入步骤S2 9； 步骤S27： 获取访问请求的计算需求参数； 获取处理单元的计算能力参数； 分别计算访 问请求的计算需求参数和轻负载集合中每个处理单元的计算能力参数之间的第二匹配程 度MCk； 步骤S28： 基于负载系数和第二匹配程度从待选处理单元集合中选择一个处理单元作 为目标处 理单元； 具体为： 步骤S281： 计算待选处理单元集合中每个处理单元的负载加权第二匹配程度MC_Lkc； 其 中： kc是待处 理单元集合中处理单元的编号； MC_Lkc＝LUkc×MCkc； 步骤S282： 从待选处理单元集合中选择负载加权第 二匹配程度值最小的处理单元作为 目标处理单元； 步骤S29： 将访问请求分派到所述目标处理单元中； 持续监测是否还有待分流访问请 求， 如果是， 则返回步骤S21；权　利　要　求　书 1/2 页 2 CN 115495236 A 2步骤S3： 判断分流时机是否到来， 如果是， 则返回步骤S1； 否则， 持续监测分流时机是否 到来。 2.根据权利要求1所述的大数据访问请求分流方法， 其特征在于， 重负载系数大于轻负 载系数。 3.根据权利要求2所述的大数据访问请求分流方法， 其特征在于， 所述负载系数的初始 值为1。 4.根据权利要求3所述的大数据访问请求分流方法， 其特征在于， 所述分流 时机为预定 时间间隔， 每隔预定时间 间隔分流时机 到来。 5.根据权利要求4所述的大数据访问请求分流方法， 其特征在于， 设置定时器判断分流 时机是否 到来。 6.一种大数据访问请求分流系统， 其特征在于， 所述系统包含： 处理单元及其访问请求 队列、 分派单 元、 调度单 元。 7.根据权利要求6所述的大数据访问请求分流系统， 其特征在于， 所述处理单元用于处 理访问请求队列中的访问请求。 8.一种处理器， 其特征在于， 所述处理器用于运行程序， 其中， 所述程序运行时执行权 利要求1‑5中任一项所述的大 数据访问请求分流方法。 9.一种计算机可读存储介质， 其特征在于， 包括程序， 当其在计算机上运行时， 使得计 算机执行如权利要求1 ‑5中任一项所述的大 数据访问请求分流方法。 10.一种执行设备， 其特征在于， 包括处理器， 所述处理器和存储器耦合， 所述存储器存 储有程序指令， 当所述存储器存储的程序指令被所述处理器执行时实现如权利要求1 ‑5中 任一项所述的大 数据访问请求分流方法。权　利　要　求　书 2/2 页 3 CN 115495236 A 3