说明:收录全网最新的团体标准 提供单次或批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211081604.4 (22)申请日 2022.09.06 (71)申请人 浪潮电子信息产业股份有限公司 地址 250101 山东省济南市高新区浪潮路 1036号 (72)发明人 臧林劼 何怡川  (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 刘静莉 (51)Int.Cl. G06F 3/06(2006.01) G06F 9/50(2006.01) G06F 9/54(2006.01) (54)发明名称 一种数据存 储方法、 装置、 系统、 设备和介质 (57)摘要 本申请涉及分布式存储技术领域, 公开了一 种数据存储方法、 装置、 系统、 设备和介质, 在获 取到IO数据时, 按照设定的数据结构区以及设定 的数据块粒度, 将IO数据转换到内存中; 数据结 构区包括用于存储元数据信息的第一区域、 用于 存储数据描述信息的第二区域、 用于存储对象数 据的第三区域以及日志区。 通过设定数据结构 区, 可以支持IO数据进行内存映射。 按照内存的 字节粒度以及数据结构区存储的信息, 将I O数据 映射到内核缓冲区; 用户缓冲区和内核缓冲区共 享一块映射数据; 用户缓冲区为硬件存储设备上 的缓冲区。 用户缓冲区和内核缓冲区共享一块映 射数据, 不再需要将IO数据从内核缓冲区拷贝到 用户缓冲区, 减少了存 储系统IO时延。 权利要求书3页 说明书13页 附图4页 CN 115167786 A 2022.10.11 CN 115167786 A 1.一种数据存 储方法, 其特 征在于, 包括: 在获取到IO数据时, 按照设定的数据结构区以及设定的数据块粒度, 将所述IO数据转 换到内存中; 其中, 所述数据结构区包括用于存储 元数据信息的第一区域、 用于存储数据描 述信息的第二区域、 用于存 储对象数据的第三区域以及日志区; 按照内存的字节粒度以及所述数据结构区存储的信息, 将所述IO数据映射到内核缓冲 区; 其中, 用户缓冲区和所述内核缓冲区共享一块映射数据; 所述用户缓冲区为硬件存储设 备上的缓冲区。 2.根据权利要求1所述的数据存储方法, 其特征在于, 所述按照设定的数据结构区以及 设定的数据块粒度, 将所述 IO数据转换到内存中包括: 将所述IO数据按照设定的数据块粒度, 划分为IO数据块; 其中, 每个IO数据块有其对应 的编号信息; 将各所述IO数据块的元 数据信息写入所述第一区域; 依据各所述IO数据块的元数据信息, 确定出各所述IO数据块的数据长度和偏移信息; 其中, 所述偏移信息包括逻辑偏移和实际偏移; 将各所述IO数据块对应的编号信息、 数据长度和偏移信息写入所述第二区域; 将各所述IO数据块写入所述第三区域。 3.根据权利要求2所述的数据存储方法, 其特征在于, 所述按照内存的字节粒度以及所 述数据结构区存 储的信息, 将所述 IO数据映射到内核缓冲区包括: 在执行所述IO数据的覆盖写入操作时, 若所述IO数据在所述硬件存储设备上的逻辑地 址空间存在 对象数据, 则将属于重叠区域并且满足所述数据块粒度要求的第一IO数据块写 入新分配的内核缓冲区; 将与所述第一IO数据块前向相邻的前数据块追加写入与所述新分配的内核缓冲区相 邻的空闲内核缓冲区; 将不满足所述数据块粒度要求并且与所述第一IO数据块后向相邻的后数据块写入所 述日志区; 依据所述后数据块对应的数据长度和偏移信 息, 将所述后数据块覆盖写入对应的内核 缓冲区。 4.根据权利要求3所述的数据存储方法, 其特征在于, 所述将属于重叠区域并且满足所 述数据块粒度要求的第一 IO数据块写入新分配的内核缓冲区包括: 从所述IO数据中确定出属于 重叠区域并且 满足所述数据块粒度要求的第一 IO数据块; 依据所述第 一IO数据块对应的数据结构区存储的信 息, 为所述第一IO数据块分配与已 有对象数据存 储区域相邻的目标内核缓冲区; 将所述第一 IO数据块按照内存的字节粒度写入所述目标内核缓冲区。 5.根据权利要求3所述的数据存储方法, 其特征在于, 所述将不满足所述数据块粒度要 求并且与所述第一 IO数据块后向相邻的后数据块写入所述日志区包括: 将不满足所述数据块粒度要求并且与所述第一IO数据块后向相邻的后数据块通过设 定的一致性事务接口写入所述日志区。 6.根据权利要求3所述的数据存储方法, 其特征在于, 在所述将所述后数据块覆盖写入 对应的内核缓冲区之后还 包括:权 利 要 求 书 1/3 页 2 CN 115167786 A 2判断所述日志区存 储的后数据块是否 达到设定的时长; 若所述日志区存 储的后数据块达 到设定的时长, 则 删除所述日志区存 储的后数据块。 7.根据权利要求2所述的数据存储方法, 其特征在于, 所述按照内存的字节粒度以及所 述数据结构区存 储的信息, 将所述 IO数据映射到内核缓冲区包括: 在执行所述IO数据的覆盖写入操作时, 若所述IO数据在所述硬件存储设备上的逻辑地 址空间不存在对象数据, 则按照内存的字节粒度进行寻址, 以将所述IO数据映射到逻辑地 址对应的内核缓冲区。 8.根据权利要求2所述的数据存储方法, 其特征在于, 所述按照内存的字节粒度以及所 述数据结构区存 储的信息, 将所述 IO数据映射到内核缓冲区包括: 在执行所述IO数据的追加写入操作时, 依据所述IO数据对应的数据结构区存储的信 息, 为所述 IO数据分配新的内核缓冲区; 按照内存的字节粒度进行寻址, 以将所述 IO数据写入所述 新的内核缓冲区。 9.根据权利要求1所述的数据存 储方法, 其特 征在于, 所述 IO数据的获取 过程包括: 依据设定的协议访 问接口获取客户端传输的待处理数据; 其中, 所述协议访 问接口包 括对象接口、 块接口和文件系统接口; 不同的协议访问接口有其对应的数据切片方式; 将所述待处 理数据按照对应的切片方式, 切分得到IO数据。 10.根据权利要求9所述的数据存储方法, 其特征在于, 在所述将所述待处理数据按照 对应的切片方式, 切分得到IO数据之后还 包括: 将每个IO数据及其对应的副本数据汇总到同一个组内; 对同一个组内的数据同步执行所述按照设定的数据 结构区以及设定的数据块粒度, 将 所述IO数据转换到内存的步骤。 11.一种数据存 储装置, 其特 征在于, 包括 转换单元和映射单 元; 所述转换单元, 用于在获取到IO数据时, 按照设定的数据结构区以及设定的数据块粒 度, 将所述IO数据转换到内存中; 其中, 所述数据结构区包括用于存储 元数据信息的第一区 域、 用于存 储数据描述信息的第二区域、 用于存 储对象数据的第三区域以及日志区; 所述映射单元, 用于按照内存的字节粒度以及所述数据结构区存储的信息, 将所述IO 数据映射到内核缓冲区; 其中, 用户缓冲区和所述内核缓冲区共享一块映射数据; 所述用户 缓冲区为硬件 存储设备上的缓冲区。 12.一种数据存储系统, 其特征在于, 包括存储管理模块、 传输接口和硬件存储设备; 所 述存储管理模块 通过所述传输 接口与所述硬件 存储设备连接; 所述存储管理模块, 用于在获取到IO数据时, 按照设定的数据结构区以及设定的数据 块粒度, 将所述IO数据转换到内存中; 其中, 所述数据结构区包括用于存储元数据信息的第 一区域、 用于存 储数据描述信息的第二区域、 用于存 储对象数据的第三区域以及日志区; 所述存储管理模块, 用于按照内存的字节粒度以及所述数据结构区存储的信息, 通过 所述传输接口将所述IO数据映射到内核缓冲区; 其中, 用户缓冲区和所述内核缓冲区共享 一块映射数据; 所述用户缓冲区为硬件 存储设备上的缓冲区。 13.根据权利要求12所述的数据存储系统, 其特征在于, 所述传输接口包括用于传输满 足数据块粒度要求的单 元接口, 和用于传输不满足数据块粒度要求的一 致性事务接口。 14.一种电子设备, 其特 征在于, 包括:权 利 要 求 书 2/3 页 3 CN 115167786 A 3

.PDF文档 专利 一种数据存储方法、装置、系统、设备和介质

文档预览
中文文档 21 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共21页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种数据存储方法、装置、系统、设备和介质 第 1 页 专利 一种数据存储方法、装置、系统、设备和介质 第 2 页 专利 一种数据存储方法、装置、系统、设备和介质 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 13:09:51上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。