(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211286417.X (22)申请日 2022.10.20 (71)申请人 华东计算技术研究所 （中国电子科 技集团公司第三十二研究所） 地址 201800 上海市嘉定区嘉罗路1485号 (72)发明人 佘平　罗琳　李静茹　徐鑫朋　 袁铭　 (74)专利代理 机构 上海段和段律师事务所 31334 专利代理师 郭国中 (51)Int.Cl. G06F 16/25(2019.01) G06F 16/22(2019.01) G06F 16/16(2019.01) G06F 9/448(2018.01) (54)发明名称 基于HBase多端融合的小文件存储方法和系 统 (57)摘要 本发明提供了一种基于HBase多端融合的小 文件存储方法和系统， 在HBase开源数据库中建 立一张表， 使用文件名相关信息作为行键， 并用 一个单独的列簇存储小文件的内容、 类型、 大小 和创建时间， 文件操作流程包括如下步骤： 步骤 1： 输入文件路径和文件名； 步骤2： 根据文件名形 成HBase基本数据条目元数据； 步骤3： 判断文件 处理操作类型， 调用客户端连接HBase数据库， 根 据元数据进行小文件查询、 删除、 下载和添加操 作。 本发明提供C++/C#/Java数据输入接口方式， 实现多源数据统一接入， 结合小文件数量多特 性， 提供多个HBase  thrift服务， 以灵活的负载 均衡方式， 实现海量小 文件高效存 储。 权利要求书2页 说明书5页 附图8页 CN 115544149 A 2022.12.30 CN 115544149 A 1.一种基于HBase多端融合的小文件存储方法， 其特征在于， 在HBase开源数据库中建 立一张表， 使用文件名相关信息作为行键， 并用一个单独的列簇存储小文件的内容、 类型、 大小和创建时间， 文件操作流 程包括如下步骤： 步骤1： 输入文件路径和文件名； 步骤2： 根据文件名形成HBase基本数据条目元 数据； 步骤3： 判断文件处理操作类型， 调用客户端连接HBase数据库， 根据元数据进行小文件 查询、 删除、 下 载和添加操作。 2.根据权利要求1所述的基于HBase多端融合的小文件存储方法， 其特征在于， 小文件 查询流程为： 输入文件名， 调用HBase  thrift C++/C#/Jav a接口查询， 判断文件是否存在， 若存在则构造 封装小文件对象并输出小 文件对象， 若不存在则输出nul l。 3.根据权利要求1所述的基于HBase多端融合的小文件存储方法， 其特征在于， 小文件 删除流程为： 输入文件名， 调用HBase  thrift C++/C#/Java接口删除； 小文件添加流程为： 输入小文件对象， 读取文件内容， 调用HBase  thrift C++/C#/Java 接口添加。 4.根据权利要求1所述的基于HBase多端融合的小文件存储方法， 其特征在于， 小文件 下载流程为： 输入文件名和下载地址， 调用HBase  thrift C++/C#/Java查询接口， 判断是否 返回null， 若是则直接结束流 程， 若否则读取小 文件的文件内容字段到指定文件。 5.根据权利要求1所述的基于HBase多端融合的小文件存储方法， 其特征在于， 在进行 小文件存储时， 将逆置时间戳、 文件路径以及文件名信息拼接为HBase表中的行键， 将文件 大小、 文件时间、 文件类型和文件内容 一同存在HBase表中的一个列簇中。 6.一种基于HBase多端融合的小文件存储系统， 其特征在于， 在HBase开源数据库中建 立一张表， 使用文件名相关信息作为行键， 并用一个单独的列簇存储小文件的内容、 类型、 大小和创建时间， 文件操作流 程包括如下模块： 模块M1： 输入文件路径和文件名； 模块M2： 根据文件名形成HBase基本数据条目元 数据； 模块M3： 判断文件处理操作类型， 调用客户端连接HBase数据库， 根据元数据进行小文 件查询、 删除、 下 载和添加操作。 7.根据权利要求6所述的基于HBase多端融合的小文件存储系统， 其特征在于， 小文件 查询流程为： 输入文件名， 调用HBase  thrift C++/C#/Jav a接口查询， 判断文件是否存在， 若存在则构造 封装小文件对象并输出小 文件对象， 若不存在则输出nul l。 8.根据权利要求6所述的基于HBase多端融合的小文件存储系统， 其特征在于， 小文件 删除流程为： 输入文件名， 调用HBase  thrift C++/C#/Java接口删除； 小文件添加流程为： 输入小文件对象， 读取文件内容， 调用HBase  thrift C++/C#/Java 接口添加。 9.根据权利要求6所述的基于HBase多端融合的小文件存储系统， 其特征在于， 小文件 下载流程为： 输入文件名和下载地址， 调用HBase  thrift C++/C#/Java查询接口， 判断是否 返回null， 若是则直接结束流 程， 若否则读取小 文件的文件内容字段到指定文件。 10.根据权利要求6所述的基于HBase多端融合的小文件存储系统， 其特征在于， 在进行 小文件存储时， 将逆置时间戳、 文件路径以及文件名信息拼接为HBase表中的行键， 将文件权　利　要　求　书 1/2 页 2 CN 115544149 A 2大小、 文件时间、 文件类型和文件内容 一同存在HBase表中的一个列簇中。权　利　要　求　书 2/2 页 3 CN 115544149 A 3