(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210976556.9 (22)申请日 2022.08.15 (65)同一申请的已公布的文献号 申请公布号 CN 115048227 A (43)申请公布日 2022.09.13 (73)专利权人 阿里巴巴 （中国） 有限公司 地址 310023 浙江省杭州市余杭区五常街 道文一西路969号3幢5层5 54室 (72)发明人 周翱　梁明旭　李强　吴耀辉　 何振华　 (74)专利代理 机构 北京太合九思知识产权代理 有限公司 1 1610 专利代理师 刘瑞霞 (51)Int.Cl. G06F 9/50(2006.01)G06F 13/28(2006.01) G06F 3/06(2006.01) (56)对比文件 CN 108028 833 A,2018.0 5.11 CN 1812345 A,20 06.08.02 CN 114546601 A,202 2.05.27 CN 112953967 A,2021.0 6.11 US 2011208936 A1,201 1.08.25 US 2016011810 A1,2016.01.14 CN 106933775 A,2017.07.07 张东林.云计算 技术在海量电子病历数据分 析中的应用研究. 《太原学院学报(自然科 学 版)》 .2018,(第01期), 审查员 辛小霞 (54)发明名称 数据处理方法、 系统及存 储介质 (57)摘要 本申请实施例提供一种数据处理方法、 系统 及存储介质。 在本申请实施例中， 一方面， 通过将 数据处理设备映射为主机的存储设备， 并通过映 射出的存储设备将主机侧的网络协议卸载至数 据处理设备， 由数据处理设备对网络数据包进行 响应和处理， 可降低主机CPU的网络处理压力， 有 助于防止CP U出现吞吐瓶颈； 另一方面， 数据处理 设备将从网络存储系统获取的数据以直接内存 访问 （DMA） 方式存储至并行处理单元中， 实现数 据直通并行处理单元， 绕开了主机的CPU， 可避免 CPU对数据的二次复制， 降低CPU的数据处理压 力， 有助于进一 步防止CPU出现吞吐瓶颈 。 权利要求书3页 说明书14页 附图6页 CN 115048227 B 2022.12.09 CN 115048227 B 1.一种数据处 理方法， 包括： 通过虚拟化 技术将与主机通信连接的数据处 理设备映射 为所述主机的存 储设备； 通过映射出的存 储设备将所述主机的网络协议卸载至所述数据处 理设备； 采用直接内存访问方式， 将所述数据处理设备通过所述网络协议从网络存储系统获取 的数据， 存 储至所述主机通信连接的并行处 理单元中； 其中， 所述通过虚拟化技术将与主机通信连接的数据处理设备映射为所述主机的存储 设备， 包括： 对所述数据处理设备进行初始化； 在对所述数据处理设备初始化过程中， 配置所述数 据处理设备 的身份标识， 以将所述数据 处理设备映射为所述主机的总线上 的虚拟块设备； 所述数据处理设备的身份标识中的功能号包括存储介质和网卡的标识； 在设备枚举过程 中， 从所述虚拟块设备 的寄存器中获取所述虚拟块设备 的功能为存储介质和网卡； 加载所 述虚拟块设备的功能对应的虚拟块设备驱动， 以将所述数据处理设备映射为所述主机的存 储设备； 所述通过映射出的存 储设备将所述主机的网络协议卸载至所述数据处 理设备， 包括： 将针对所述网络存储系统 的访问请求提供给所述映射出的存储设备， 以供所述数据处 理设备从所述映射出 的存储设备获取所述访问请求； 并基于所述访问请求， 通过所述网络 协议访问所述网络存 储系统， 以获取 所述访问请求的待读取 数据， 作为所述获取的数据。 2.根据权利要求1所述的方法， 所述采用直接内存访问方式， 将所述数据处理设备通过 所述网络协议从网络存储系统获取 的数据， 存储至所述主机通信连接的并行处理单元中， 包括： 所述主机中的网络存 储驱动组件回调所述主机的内核驱动程序； 所述内核驱动程序将所述并行处理单元的虚拟地址转换为物理地址， 并启动所述主机 的直接内存访问机制； 所述主机中的直接内存访问引 擎将所述获取的数据从所述数据处理设备直接写入所 述并行处 理单元的物理地址 。 3.根据权利要求1所述的方法， 所述将针对所述网络存储系统的访问请求提供给所述 映射出的存 储设备， 包括： 所述主机的内核驱动组件接收所述访问请求， 并调用所述主机的虚拟文件系统 的访问 接口将所述访问请求传输给 所述网络存 储驱动组件； 所述网络存储驱动组件将针对所述网络存储系统的访问请求提供给所述主机内核中 的虚拟块设备驱动； 所述虚拟块设备驱动将所述访问请求 提供给映射出的存 储设备。 4.根据权利要求1所述的方法， 所述映射出的存储设备为多个； 所述将针对所述网络存 储系统的访问请求 提供给所述映射出的存 储设备， 包括： 根据所述访问请求的待访问数据的文件路径， 从多个存储设备中确定所述待访问数据 的文件路径对应的目标存 储设备； 将所述访问请求 提供给所述目标存 储设备。 5.根据权利要求4所述的方法， 所述基于所述访问请求， 通过所述网络协议访问所述网 络存储系统， 以获取 所述访问请求的待读取 数据， 包括：权　利　要　求　书 1/3 页 2 CN 115048227 B 2从所述目标存 储设备读取 所述访问请求； 根据预先配置的所述映射出的存储设备与所述网络存储系统的存储空间之间的映射 关系， 确定所述访问请求待访问的所述网络存 储系统的目标存 储空间； 基于所述访问请求， 通过 所述网络协议访问所述网络存 储系统的目标存 储空间； 从所述目标存 储空间获取 所述访问请求的待读取 数据。 6.根据权利要求5所述的方法， 所述从所述目标存储空间获取所述访问请求的待读取 数据， 包括： 以数据块 为单位从所述目标存 储空间获取 所述访问请求的待读取 数据。 7.根据权利要求1 ‑6任一项所述的方法， 还 包括： 通过内核旁路方式将所述获取的数据存 储至所述主机的系统内存中。 8.一种数据处理系统， 包括： 主机、 数据处理设备、 并行处理单元及网络存储系统； 所述 主机分别与所述数据处理设备及所述并行 处理单元通信连接； 所述数据处理设备与所述网 络存储系统网络连接； 所述主机用于通过虚拟化技术将所述数据处理设备映射为所述主机的存储设备； 并通 过映射出的存 储设备将所述主机的网络协议卸载至所述数据处 理设备； 所述数据处理设备与 所述网络存储系统网络连接， 用于通过所述网络协议访问所述网 络存储系统， 以获取所述网络存储系统的数据； 采用直接内存访问方式将获取 的数据存储 至所述并行处 理单元中； 所述主机在通过虚拟化技术将所述数据处理设备映射为所述主机的存储设备时， 具体 用于： 所述主机用于对所述数据处理设备进行初始化， 并在对所述数据处理设备初始化过程 中， 配置所述数据 处理设备 的身份标识， 以将所述数据 处理设备映射为所述主机的总线上 的虚拟块设备； 所述数据处 理设备的身份标识中的功能号包括存 储介质和网卡的标识； 所述主机在 设备枚举过程中， 从所述虚拟块设备的寄存器中获取所述虚拟块设备的功 能为存储介质和网卡； 并加载所述虚拟块设备 的功能对应的虚拟块设备驱动， 以将所述数 据处理设备映射 为所述主机的存 储设备； 所述主机， 在通过映射出的存储设备将所述主机的网络协议卸载至所述数据处理设备 时， 具体用于： 将针对所述网络存储系统 的访问请求提供给所述映射出的存储设备， 以供所述数据处 理设备从所述映射出 的存储设备获取所述访问请求； 并基于所述访问请求， 通过所述网络 协议访问所述网络存 储系统， 以获取 所述访问请求的待读取 数据， 作为所述获取的数据。 9.根据权利要求8所述的系统， 所述数据处理设备在采用直接内存访问方式将获取的 数据存储至所述并行处 理单元中时， 具体用于： 所述数据处理设备触发所述主机中的网络存储驱动组件回调所述主机的内核驱动程 序； 所述内核驱动程序将所述并行处理单元的虚拟地址转换为物理地址， 并启动所述主机 的直接内存访问机制； 所述主机中的直接内存访问引 擎将所述获取的数据从所述数据处理设备直接写入所 述并行处 理单元的物理地址 。权　利　要　求　书 2/3 页 3 CN 115048227 B 3