(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111320976.3 (22)申请日 2021.11.09 (71)申请人 上海交通大 学 地址 200240 上海市闵行区东川路80 0号 (72)发明人 王雅洁　梁晓峣　景乃锋　 (74)专利代理 机构 上海汉声知识产权代理有限 公司 3123 6 代理人 胡晶 (51)Int.Cl. G06F 30/27(2020.01) G06F 15/80(2006.01) G06F 111/04(2020.01) (54)发明名称 面向超长SIMD管线的二值规约优化实现方 法及系统 (57)摘要 本发明提供了一种面向超长SIMD管线的二 值规约优化实现方法及系统， 包括： 通过编译器 端对基于移位的快速二值规约SIMD算法或基于 移位的快速二值规约SIMD扩展算法进行收益分 析， 当收益为正且大于预设值时， 则选择基于移 位的快速二值规约SIMD算法或基于移位的快速 二值规约SIMD扩展算法实现满足预设要求条件 的纯规约类算子或内部包含规约操作的非规约 类算子， 从而实现面向超长SIMD管线的二值规约 优化。 权利要求书2页 说明书11页 附图5页 CN 114117896 A 2022.03.01 CN 114117896 A 1.一种面向超长SIMD管线的二值规约优化实现方法， 其特征在于， 包括： 通过编译器端 对基于移位的快速二值规约SIMD算法或基于移位的快速二值规约SIMD扩展算法进行收益 分析， 当收益为正且大于预设值时， 则选择基于移位的快速二值规约SIMD算法或基于移位 的快速二值规约SIMD扩展算法实现满足预设要求条件的纯规约类算子或内部包含规约操 作的非规约类算子， 从而实现面向超长SIMD管线的二 值规约优化。 所述基于移位的快速二值规约SIMD算法通过前后移位的方法使得作用于张量数据最 后一维的二 值规约运算能够提高对于SIMD管线的利用率； 所述基于移位的快速二值规约SIMD扩展算法是针对内部包含规约 运算， 且当前规约操 作符合预设条件的非规约类算子， 通过对快速二值规约SIMD算法进行扩展应用， 使得当前 算子对SIMD管线的利用率大 大提高。 2.根据权利要求1所述的面向超长SIMD管线的二值规约优化实现方法， 其特征在于， 当 满足预设条件的算子执 行在SIMD硬件平台上时， 编译器端自动识别并进行性能收益分析。 3.根据权利要求1所述的面向超长SIMD管线的二值规约优化实现方法， 其特征在于， 所 述基于移位的快速二 值规约SIMD算法采用： 步骤S1： 对于维度为N*2的输入张量A， 通过前移或后移一位， 得到移位后的N*2的中间 张量B； 步骤S2： 根据目标算子的功能确定规约类型； 步骤S3： 根据规约类型选择相应的运 算op， 计算A op B； 步骤S4： 对A  op B的结果C进行偶数位或奇数位置0操作并进行对规约求和， 得到维度 为N*1的输出张量D。 4.根据权利要求1所述的面向超长SIMD管线的二值规约优化实现方法， 其特征在于， 所 述基于移位的快速二 值规约SIMD扩展算法采用： 步骤S5： 对于维度为N*2的输入张量A， 分别进行前移一位和后移一位的操作， 分别得到 中间张量B和C； 步骤S6： 根据目标算子的功能确定规约类型； 步骤S7： 根据规约类型选择相应的运 算op， 计算A op B以及A op C； 步骤S8： 对A op B的结果D进行偶数位置 0得到维度为 N*2的中间 张量F； 步骤S9： 对A  op C的结果E进行奇数位置 0得到维度为 N*2的中间 张量G； 步骤S10： 将中间 张量F和中间 张量G相加， 得到维度为 N*2的输出张量H 。 5.根据权利要求1所述的面向超长SIMD管线的二值规约优化实现方法， 其特征在于， 所 述编译器端的收益分析采用： 根据包括输入 数据长度、 后端硬件平台的内存带宽、 SIMD管线 宽度、 处理器主频、 后端硬件各类指 令执行耗时以及算子类型， 编译器端对基于移 位的快速 二值规约SIMD算法或基于移位的快速二 值规约SIMD扩展算法进行收益分析。 6.一种面向超长SIMD管线的二值规约优化实现系统， 其特征在于， 包括： 通过编译器端 对基于移位的快速二值规约SIMD算法或基于移位的快速二值规约SIMD扩展算法进行收益 分析， 当收益为正且大于预设值时， 则选择基于移位的快速二值规约SIMD算法或基于移位 的快速二值规约SIMD扩展算法实现满足预设要求条件的纯规约类算子或内部包含规约操 作的非规约类算子， 从而实现面向超长SIMD管线的二 值规约优化。 所述基于移位的快速二值规约SIMD算法通过前后移位的方法使得作用于张量数据最权　利　要　求　书 1/2 页 2 CN 114117896 A 2后一维的二 值规约运算能够提高对于SIMD管线的利用率； 所述基于移位的快速二值规约SIMD扩展算法是针对内部包含规约 运算， 且当前规约操 作符合预设条件的非规约类算子， 通过对快速二值规约SIMD算法进行扩展应用， 使得当前 算子对SIMD管线的利用率大 大提高。 7.根据权利要求6所述的面向超长SIMD管线的二值规约优化实现系统， 其特征在于， 当 满足预设条件的算子执 行在SIMD硬件平台上时， 编译器端自动识别并进行性能收益分析。 8.根据权利要求6所述的面向超长SIMD管线的二值规约优化实现系统， 其特征在于， 所 述基于移位的快速二 值规约SIMD算法采用： 模块M1： 对于维度为N*2的输入张量A， 通过前移或后移一位， 得到移位后的N*2的中间 张量B； 模块M2： 根据目标算子的功能确定规约类型； 模块M3： 根据规约类型选择相应的运 算op， 计算A op B； 模块M4： 对A  op B的结果C进行偶数位或奇数位置0操作并进行对规约求和， 得到维度 为N*1的输出张量D。 9.根据权利要求6所述的面向超长SIMD管线的二值规约优化实现系统， 其特征在于， 所 述基于移位的快速二 值规约SIMD扩展算法采用： 模块M5： 对于维度为N*2的输入张量A， 分别进行前移一位和后移一位的操作， 分别得到 中间张量B和C； 模块M6： 根据目标算子的功能确定规约类型； 模块M7： 根据规约类型选择相应的运 算op， 计算A op B以及A op C； 模块M8： 对A  op B的结果D进行偶数位置 0得到维度为 N*2的中间 张量F； 模块M9： 对A  op C的结果E进行奇数位置 0得到维度为 N*2的中间 张量G； 模块M10： 将中间 张量F和中间 张量G相加， 得到维度为 N*2的输出张量H 。 10.根据权利要求6所述的面向超长SIMD管线的二值规约优化实现系统， 其特征在于， 所述编译器端的收益分析采用： 根据包括输入 数据长度、 后端硬件平台的内存带宽、 SIMD管 线宽度、 处理器主频、 后端硬件 各类指令执行耗时以及算子类型， 编译器端对基于移位的快 速二值规约SIMD算法或基于移位的快速二 值规约SIMD扩展算法进行收益分析。权　利　要　求　书 2/2 页 3 CN 114117896 A 3