(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210986917.8 (22)申请日 2022.08.17 (71)申请人 无锡江南计算 技术研究所 地址 214100 江苏省无锡市滨湖区山水东 路188号 (72)发明人 郝子宇　李宏亮　陈左宁　王迪　 王吉军　谭弘兵　吴智　 (74)专利代理 机构 浙江千克知识产权代理有限 公司 33246 专利代理师 任婷婷 (51)Int.Cl. G06N 3/04(2006.01) G06F 15/173(2006.01) G06F 9/50(2006.01) G06F 9/48(2006.01) (54)发明名称 一种张量、 向量、 标量计算加速和数据调度 系统 (57)摘要 一种张量、 向量、 标量计算加速和数据调度 系统， 属于高性能计算技术领域。 本发明包括： 标 量处理单元： 用于取指和译码， 以及发送指令； 向 量处理单元： 用于接收来自标量处理单元的向量 指令， 完成向量类型数据的调度和计算； 张量处 理单元： 用于接收来自标量处理单元的张量指 令， 完成张量类型数据的调度和计算； 多端口本 地数据存储 单元： 用于存储不同处理单元处理的 数据， 并支持不同处理单元对自身处理数据的同 时读写； 多功能直接内存访问单元： 用于实现内 存到各个功能单元之间的数据通信； 在线远程存 储访问单元： 用于实现不同处理单元间数据的直 接交互。 本发 明能够有效提升复杂算法中张量计 算、 向量计算、 标量计算的算力和数据调度的灵 活性。 权利要求书2页 说明书5页 附图6页 CN 115169541 A 2022.10.11 CN 115169541 A 1.一种张量、 向量、 标量计算加速和数据调度系统， 其特 征在于， 包括： 标量处理单元： 用于取指和译码， 以及把不同类型的控制指令发送给相应功能单元； 同 时完成标量类型 数据的调度和计算； 向量处理单元： 用于接收来自标量处理单元的向量指令， 完成向量类型数据的调度和 计算； 张量处理单元： 用于接收来自标量处理单元的张量指令， 完成张量类型数据的调度和 计算； 多端口本地数据存储单元： 包含多个读写端口和多个子存储单元， 读写端口之间、 子存 储单元之间、 以及读写端口与子存储单元之间相互独立， 用于存储不同处理单元处理的数 据， 并支持不同处 理单元对自身处 理数据的同时读写； 多功能直接内存访 问单元： 用于实现内存到各个功能单元之间的数据通信， 还用于支 持在线的数据转置； 在线远程存储访问单元： 用于实现片上或片间的不同张量/向量/标量处理单元间数据 的直接交 互。 2.根据权利要求1所述的一种张量、 向量、 标量计算加速和数据调度系统， 其特征在于， 所述标量处 理单元包括： 标量计算单元， 通过指令缓存获取指令， 通过读写指令直接访问内存， 并完成标量类型 数据的计算； 标量寄存器， 通过所述在线远程存储访 问单元， 访 问片上或片间的其他张量/向量/标 量处理单元的向量寄存器及多端口本地数据存储单元； 通过标量数据本地存储访问单元访 问本地的多 端口本地存 储单元； 标量数据本地存储访问单元， 实现所述标量寄存器与多端口本地存储单元之间的数据 交互， 并完成各种数据类型的转换。 3.根据权利要求1所述的一种张量、 向量、 标量计算加速和数据调度系统， 其特征在于， 所述向量处 理单元包括： 向量计算单 元， 用于接收来自标量处 理单元的向量指令， 完成向量类型 数据的计算； 向量寄存器， 通过所述在线远程存储访 问单元， 访 问片上或片间的其他张量/向量/标 量处理单元的向量寄存器及多端口本地数据存储单元； 通过向量数据本地存储访问单元访 问本地的多 端口本地存 储单元； 向量数据本地存储访问单元， 实现所述向量寄存器与多端口本地存储单元之间的数据 交互， 并完成各种数据类型的转换。 4.根据权利要求1所述的一种张量、 向量、 标量计算加速和数据调度系统， 其特征在于， 所述张量处 理单元包括： 张量计算单 元， 用于接收来自标量处 理单元的张量指令， 完成张量类型 数据的计算； 张量缓存， 通过所述在线远程存储访问单元访问片上或片间的其他张量/向量/标量处 理单元的张量缓存及多端口本地数据存储单元； 通过张量数据本地存储访问单元访问本地 的多端口本地存 储单元； 张量数据本地存储访问单元， 实现所述张量缓存与多端口本地存储单元之间的数据交 互， 并完成各种数据类型的转换。权　利　要　求　书 1/2 页 2 CN 115169541 A 25.根据权利要求4所述的一种张量、 向量、 标量计算加速和数据调度系统， 其特征在于， 所述张量计算单元包括多个微核， 所述微核是张量计算单元 的最基本计算单元， 完成与应 用算法相关不可 再分的计算。 6.根据权利要求1所述的一种张量、 向量、 标量计算加速和数据调度系统， 其特征在于， 每个所述子存 储单元具有独立的读写 端口， 以及独立的全局编址 。 7.根据权利要求6所述的一种张量、 向量、 标量计算加速和数据调度系统， 其特征在于， 各个所述子存 储单元之间的地址连续。权　利　要　求　书 2/2 页 3 CN 115169541 A 3