(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211181441.7 (22)申请日 2022.09.27 (71)申请人 山东云海国创云计算装备产业创新 中心有限公司 地址 250000 山东省济南市中国 （山 东） 自 由贸易试验区济南片区浪潮路1036号 浪潮科技园S01楼3 5层 (72)发明人 李树青　王江　孙华锦　 (74)专利代理 机构 北京连和连知识产权代理有 限公司 1 1278 专利代理师 陈黎明　马鹏林 (51)Int.Cl. G06F 9/50(2006.01) G06F 12/0866(2016.01) G06F 12/0806(2016.01) (54)发明名称 一种提高计算引擎缓存利用率的系统及方 法 (57)摘要 本发明提供了一种提高计算引擎缓存利用 率的系统及方法， 该系统包括外部设备、 外部设 备控制器以及内联计算引擎。 本发 明引入超额分 配的机制， 可以实现比物理缓存更大的虚拟缓 存， 通过这部分虚拟缓存， 内联计算引擎可以支 持更多的外部设备的并发任务， 提高缓存利用率 和内联计算引擎的性能。 通过当前外部设备和内 存等参数动态调节虚拟缓存大小， 可以避免芯片 在设计时需要按最坏的情况实例化过大的物理 缓存， 可以实现在相同性能的前提下， 仅用较小 的物理缓存来适应各种不同的使用场景， 可以有 效降低芯片成本 。 权利要求书2页 说明书11页 附图4页 CN 115509747 A 2022.12.23 CN 115509747 A 1.一种提高计算引擎缓存利用率的系统， 其特征在于， 该系统包括外部设备、 外部设备 控制器以及内联计算引擎； 所述外部设备用于将数据发送至内联计算引擎， 进入物理缓存； 所述外部设备控制器， 用于向所述内联计算引擎发送缓存分配的请求， 还用于向所述 外部设备发送读取命令； 所述内联计算引擎采用虚拟缓存增加缓存容量， 所述内联计算引擎用于接收外部设备 输入的数据进行物理缓存， 缓存数据从所述物理缓存中输出至运 算单元。 2.根据权利要求1所述的提高计算引擎缓存利用率的系统， 其特征在于， 所述内联计算 引擎包括缓存分配模块、 缓存容 量管理模块以及外 部参数监测模块； 所述缓存分配模块用于接收所述外部设备控制器发送的缓存分配请求， 基于所述缓存 分配请求 通过缓存容 量管理模块进行缓存分配； 所述缓存容量管理模块内设有虚拟缓存扩展和回收模块， 所述虚拟 缓存扩展和回收模 块内设有虚拟缓存增 加所述内联计算引擎的整体缓存容 量； 所述外部参数监测模块用于与虚拟缓存扩展和回收模块连接， 基于外部参数检测所述 内联计算引擎内缓存分配。 3.根据权利要求2所述的提高计算引擎缓存利用率的系统， 其特征在于， 所述虚拟 缓存 与物理缓存构成所述内联计算引擎的总缓存大小。 4.根据权利要求3项所述的提高计算引擎缓存利用率的系统， 其特征在于， 在内联计算 引擎中， 所述缓存分配模块还用于 向所述缓存容量管理模块查询缓存状态， 根据查询 到的 缓存总大小和已使用大小， 决定缓存的分配。 5.根据权利要求4所述的提高计算引擎缓存利用率的系统， 其特征在于， 所述虚拟 缓存 扩展和回收模块用于记录当前虚拟缓存的大小、 评估虚拟缓存的合理大小、 并根据这两个 数据对虚拟缓存进行扩展和回收操作； 所述虚拟缓存扩展和回收模块还用于通过收集当前IO运行的参数对虚拟缓存的合理 大小进行估算。 6.根据权利要求5所述的提高计算引擎缓存利用率的系统， 其特征在于， 所述IO运行的 参数包括当前内存数据的读延时、 溢出事 件发生的频率。 7.根据权利要求6所述的提高计算引擎缓存利用率的系统， 其特征在于， 所述内联计算 引擎节进行物理缓存大小计算时， 物理缓存大小设置为： 物理缓存大小＝(固定延时+内存延时均值)*设计带宽 。 8.根据权利要求7所述的提高计算引擎缓存利用率的系统， 其特征在于， 所述内联计算 引擎节进行延时统计， 包括以下步骤： 当读取控制模块向内存发送一个读取命令后， 所述命令的相关参数将被写入描述符队 列； 当内存将待读取的数据返回内存数据缓存模块， 从内存数据缓存模块进入运算单元的 时刻的时间戳被记录下来， 并与读取命令的时间戳相减计算得到延时； 当每一个读取命令的第 一个数据被送入运算单元时， 描述符队列将所述读取命令的时 间戳送入延时估计模块， 延时估计模块用该延时对缓存容 量进行估计和调整。 9.根据权利要求8所述的提高计算引擎缓存利用率的系统， 其特征在于， 所述读取控制权　利　要　求　书 1/2 页 2 CN 115509747 A 2模块向内存发送一个读取命令， 所述命令的相关参数是发出读取命令时的时间戳， 还包括 该读取命令的数据大小。 10.一种提高计算引擎缓存利用率的方法， 基于根据权利要求1 ‑9任一所述的提高计算 引擎缓存利用率的系统， 其特 征在于， 该 方法包括以下步骤： 基于内联计算引擎接收外部设备数据， 采用虚拟缓存增加缓存容量， 通过缓存分配模 块向缓存容量管理模块查询缓存状态， 根据查询 到的缓存总 大小和已使用大小， 决定缓存 的分配； 通过虚拟缓存扩展和回收模块记录当前虚拟缓存的大小、 评估虚拟缓存的合理大小、 并根据这两个数据对虚拟缓存进 行扩展和回收操作， 通过收集当前IO运行的参数对虚拟缓 存的合理大小 进行估算。权　利　要　求　书 2/2 页 3 CN 115509747 A 3