(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210974427.6 (22)申请日 2022.08.15 (71)申请人 支付宝 （杭州） 信息技 术有限公司 地址 310000 浙江省杭州市西湖区西溪路 556号8层B段801-1 1 (72)发明人 薛思乔　师晓明　廖聪　朱诗逸　 李建国　郑洋飞　胡韵　雷磊　 (74)专利代理 机构 北京亿腾知识产权代理事务 所(普通合伙) 11309 专利代理师 陈霁　周良玉 (51)Int.Cl. G06F 9/455(2006.01) G06F 9/50(2006.01) (54)发明名称 计算资源的配 置方法及装置 (57)摘要 本说明书实施例提供一种计算资源的配置 方法及装置， 基于流量预测和强化学习的决策评 估相结合的构思， 在流量时序预测基础上， 进行 各种应用的计算资源配置。 其中， 在配置过程中， 一方面， 基于表征向量对各个应用进行表征， 使 得计算资源配置方案具有迁移能力， 即使面对新 应用， 也可以基于表征向量适用相应的流量与 CPU利用率的关系， 另一方面， 基于强化学习的策 略评估机制， 以目标CPU利用率为目标确定长期 回报， 从而在最大化长期回报基础上对计算资源 配置的决策结果进行调整， 使得计算资源配置方 案尽可能以较小的成本接近目标CPU利用率。 该 计算资源配置的技术方案， 可以为云计算提供更 有效的扩 缩容机制。 权利要求书3页 说明书17页 附图4页 CN 115357339 A 2022.11.18 CN 115357339 A 1.一种计算资源的配置方法， 用于为多个应用在目标周期内配置计算资源， 针对所述 目标周期中的第一时刻/时间段， 所述方法包括： 基于各个应用在所述目标周期内的估计流量序列， 确定各个应用各自的表征向量以及 基于前一时刻/时间段已配置计算资源份额的预估CPU利用率， 其中， 各个应用各自在所述 目标周期内的估计流量序列， 预先根据多个应用各自在n个历史周期的n个历史流量序列进 行预测； 将各个应用的预估CPU利用率、 表征向量、 各个应用在所述目标周期内的估计流量序列 输入决策网络， 由所述决策网络的输出结果确定所述第一时刻/时间段的当前计算资源配 置策略； 通过预先确定的策略评估 网络评估当前计算资源配置策略带来的长期回报， 从而以最 大化所述长期回报为目标调整所述决策网络的输出结果从而调整当前资源配置策略， 其 中， 所述长期回报基于 当前计算资源配置策略下的CPU利用率与预设的目标CPU利用率的差 距确定。 2.如权利要求1所述的方法， 其中， 在各个周期， 各个应用还各自对应有处理特征， 所述 处理特征包括时间特征和数据更新特征中的至少一项， 单个应用的估计流量序列基于n个 历史周期的n个历史流 量序列及处 理特征进行预测。 3.如权利要求2所述的方法， 其中， 所述针对单个应用， 在所述目标周期内的估计流量 序列通过以下 方式进行 预测： 将n个历史流量序列各自与相应的处理特征按照第 一融合方式进行融合， 得到n个第一 融合张量； 通过n个第一融合张量 提取基于n个历史流 量序列的流 量周期特 征； 基于所述流量周期特征与 所述目标周期的处理特征， 预测该单个应用在所述目标周期 内的单个估计流 量序列。 4.如权利要求1所述的方法， 其中， 所述第一融合方式为嵌入， 所述根据多个应用各自 在n个历史周期的n个历史流量序列， 预测各个应用各自在所述目标周期内的估计流量序列 包括： 对该单个应用在所述目标周期内的处理特征按照所述第 一融合方式进行嵌入， 得到第 一嵌入张量； 将所述第 一嵌入张量中的元素作为查询Q的输入， 所述流量周期特征同时作为键K和值 V的输入， 通过多头注意力机制进行处 理得到所述单个估计流 量序列。 5.如权利要求2所述的方法， 其中， 所述基于各个应用在所述目标周期内的估计流量序 列， 确定各个应用各自的表征向量以及基于前一时刻/时间段已配置计算资源份额的预估 CPU利用率包括： 将各个估计流量序列分别与相应应用的处理特征按时间维度对应拼接， 得到各个拼接 张量； 基于各个拼接张量确定各个应用各自的表征向量以及基于前一 时刻/时间段已配置计 算资源份额的预估CPU利用率。 6.如权利要求5所述的方法， 其中， 单个 应用的表征向量 通过以下 方式确定： 对该单个应用对应的拼接张量添加满足标准高斯分布的扰动， 得到相应的扰动张量；权　利　要　求　书 1/3 页 2 CN 115357339 A 2通过自注意力 机制的第 二编码网络处理所述扰动张量在时间维度的各个元素， 并基于 对得到的各个第二编码结果的拼接， 得到对所述扰动张量的第二编码张量； 解码所述第二编码张量， 得到该 单个应用的表征向量。 7.如权利要求5所述的方法， 其中， 单个应用基于前一时刻/时间段已配置计算资源份 额的预估CPU利用率 通过以下 方式确定： 通过自注意力机制的第一编码网络处理该单个应用对应的拼接张量在时间维度的各 个元素， 得到各个第一编码结果； 将所述拼接张量的各个元素作为键K， 各个第一编码结果作为值V， 在所述拼接张量中 与所述第一时刻/时间段对应的元素作为查询Q输入的情况下， 通过交叉注意力机制的第三 编码网络确定相应回报作为 参考张量； 通过解码网络处理所述表征向量、 所述参考张量、 所述拼接张量中作为查询Q输入的相 应元素， 预测单个 应用的预估CPU利用率。 8.如权利要求1所述的方法， 其中， 所述计算资源通过虚拟机实例表示， 所述计算资源 配置策略包括 为各个应用分配的虚拟机实例数。 9.如权利要求1所述的方法， 其中， 所述决策网络的输入还包括基于前一 次决策的计算 资源配置份额以及目标周期的处理特征， 所述决策网络的输出结果为针对 各个应用的计算 资源调整份额， 所述当前计算资源配置策略基于在前一次计算资源配置策略基础上按照各 个应用的计算资源调整份额进行调整确定 。 10.如权利要求9所述的方法， 其中， 所述长期回报与所述差距及计算资源调整份额的 转换成本均为负相关。 11.如权利要求1所述的方法， 其中， 所述以最大化所述长期回报为目标调整当前资源 配置策略包括： 以所述最大化所述长期回报为目标调整各个 应用的表征向量； 基于调整后的表征向量， 确定预估CPU利用率， 并根据调整后的表征向量、 预估CPU利用 率， 由所述决策网络进行决策从而确定当前计算资源配置策略。 12.如权利要求1所述的方法， 其中， 所述方法还 包括： 在所述长期回报满足预定条件的情况下， 按照当前计算资源配置策略为各个应用在所 述目标周期中的第一时刻/时间段进行资源配置 。 13.一种计算资源的配置装置， 用于为多个应用在目标周期内配置计算资源， 所述装置 包括： 流量预测单元， 配置为根据多个应用各自在n个历史周期的n个历史流量序列， 预测各 个应用各自在所述目标周期内的估计流 量序列； 资源利用率预测单元， 配置为针对所述目标周期中的各个时刻/时间段， 基于各个应用 在所述目标周期内的估计流量序列， 确定各个应用各自的表征向量以及基于前一时刻/时 间段已配置计算资源份额的预估CPU利用率； 决策单元， 配置为将各个应用的预估CPU利用率、 表征向量、 各个应用在所述目标周期 内的估计流量序列输入 决策网络， 由所述决策网络的输出结果确定当前时刻/时间段的当 前计算资源配置策略； 评估单元， 配置为通过预先确定的策略评估 网络评估当前计算资源配置策略带来的长权　利　要　求　书 2/3 页 3 CN 115357339 A 3