(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211062105.0 (22)申请日 2022.08.31 (71)申请人 上海得帆信息技 术有限公司 地址 201821 上海市嘉定区福海路101 1号3 幢A区1335室 (72)发明人 平松　 (74)专利代理 机构 上海科盛知识产权代理有限 公司 312 25 专利代理师 夏健君 (51)Int.Cl. G06F 9/445(2018.01) (54)发明名称 Apache Spark组件的插件 化数据处理方法、 系统和可读存 储介质 (57)摘要 本发明涉及一种Apache  Spark组件的插件 化数据处理方法、 系统和可读存储介质， 方法以 插件的形式安装在具有Apache  Spark组件的电 子设备中， 方法包括以下步骤： 解析步骤： 获取请 求， 对该请求进行解析和检测； 执行选择步骤： 根 据解析和检测好的请求进行执行操作分类， 并分 配到预设的执行器模型中， 通过该执行器模型将 请求封装为执行器； 插件执行步骤： 将封装好的 执行器推送到ApacheSpark组件中； Apache   Spark组件运行步骤： Apache  Spark组件根据接 收到的执行器开始执行作业； 结果分析步骤： 实 时监听Apache  Spark组件的作业运行状态， 并将 监听结果封装为结构化数据。 与现有技术相比， 本发明可让用户忽视对Apach eSpark组件的使用 能力， 用户只需要考虑Sql的逻辑即可使用 Apache Spark组件， 具有稳定灵活、 使用方便等 优点。 权利要求书2页 说明书5页 附图1页 CN 115309477 A 2022.11.08 CN 115309477 A 1.一种Apache  Spark组件的插件化数据处理方法， 其特征在于， 该方法以插件的形式 安装在具有Apac he Spark组件的电子设备中， 所述方法包括以下步骤： 解析步骤： 获取请求， 对该请求进行解析和检测； 执行选择步骤： 根据解析和检测好的请求进行执行操作分类， 并分配到预设的执行器 模型中， 通过 该执行器模型将 请求封装为执 行器； 插件执行步骤： 将封装好的执 行器推送到所述Apac he Spark组件中； Apache Spark组件运行步骤： Apac he Spark组件根据接收到的执 行器开始执 行作业； 结果分析步骤： 实时监听所述Apache  Spark组件的作业运行状态， 并将监听结果封装 为结构化数据。 2.根据权利 要求1所述的一种 Apache Spark组件的插件化数据处理方法， 其特征在于， 所述方法预设有多种不同类型的执行器模块， 多种不同类型的执行器模块包括分页查询执 行器模块、 插 入执行器模块、 查询执 行器模块和并发Sql执 行器模块。 3.根据权利 要求2所述的一种 Apache Spark组件的插件化数据处理方法， 其特征在于， 所述方法通过查询执行器模块将请求封装为查询执行器， 所述Apache  Spark组件运行查询 执行器时， 所述方法还新建查询表， 并将查询执 行器的执 行结果保存在所述 查询表中。 4.根据权利 要求1所述的一种 Apache Spark组件的插件化数据处理方法， 其特征在于， 对请求的检测过程包括： 判断请求是否满足预设的规范 标准， 若满足则进行 执行选择步骤。 5.根据权利 要求1所述的一种 Apache Spark组件的插件化数据处理方法， 其特征在于， 所述请求从Restful接口经过RPC服务中心传输获取， 封装的结构化数据返回所述RPC服务 中心中。 6.一种Apache Spark组件的插件化数据处理系统， 其特征在于， 包括用户端设备、 接口 模块和服 务器， 所述用户端设备， 用于生成进行Apac he Spark组件功能应用的请求； 所述接口模块， 用于通过Restful接口接收用户端设备的请求， 并经过RPC服务中心传 输至所述服务器； 所述服务器安装有Apache  Spark组件和Apache  Spark插件， 所述Apache  Spark插件被 配置为运行如权利要求1 ‑5任一所述的一种Apac he Spark组件的插 件化数据处 理方法。 7.根据权利 要求6所述的一种 Apache Spark组件的插件化数据处理系统， 其特征在于， 所述服务器的数量 为多个。 8.根据权利 要求7所述的一种 Apache Spark组件的插件化数据处理系统， 其特征在于， 各个服务器 之间Apache  Spark组件的版本不同， 所述接口模块根据所述请求需要的Apache   Spark组件版本， 将 请求发送到对应的服 务器中。 9.根据权利 要求6所述的一种 Apache Spark组件的插件化数据处理系统， 其特征在于， 所述Apac he Spark插件包括： 解析器， 被 配置为， 获取请求， 对该请求进行解析和检测； 执行选择器， 被配置为， 根据解析和检测好的请求进行执行操作分类， 并分配到预设的 执行器模型中， 通过 该执行器模型将 请求封装为执 行器； 插件执行器， 被配置为， 将封装好的执 行器推送到所述Apac he Spark组件中； 结果分析器， 被配置为， 实时监听所述Apache  Spark组件的作 业运行状态， 并将监听结权　利　要　求　书 1/2 页 2 CN 115309477 A 2果封装为结构化数据。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上储存有计算机 程序， 所述计算机程序被处 理器执行如权利要求1～5中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115309477 A 3