(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210972749.7 (22)申请日 2022.08.15 (71)申请人 鹏城实验室 地址 518000 广东省深圳市南 山区兴科一 街2号 (72)发明人 李俊茂　林冯军　廖伟胜　曾炜　 王晖　李革　耿林　王贵良　 (74)专利代理 机构 深圳市君胜知识产权代理事 务所(普通 合伙) 44268 专利代理师 刘芙蓉 (51)Int.Cl. G06F 9/48(2006.01) G06F 9/50(2006.01) G06F 13/38(2006.01) (54)发明名称 一种异构多集群的数据处理方法、 装置、 介 质及终端 (57)摘要 本发明公开了一种异构多集群的数据处理 方 法 、装 置 、介 质及 终 端 ， 方 法 包 括 ： 在 Kubernetes数据处理 系统中 增加新的 Kubernetes虚拟节点， 将每个所述Kubernetes虚 拟节点与异构多集群中的每个异构集群相对应； 基于所述Kubernetes虚拟节点为每个所述异构 集群单独创建一个适配器； 在Kubernetes数据处 理系统中部署一个与所述适配器相对应的节点 代理程序， 其中， 所述适配器通过所述节点代理 程序可与Kubernetes的应用编程接口服务器通 信； 基于所述节点代理程序， 将所述应用编程接 口服务器对 kubelet的操作转换为对异构集群的 作业操作； 本发 明采用上述方法后解决了异构 多 集群调度较为困难的问题， 实现了能够通过使用 Kubernetes集群软件像数据处理普通的单集群 一样去数据处 理异构的多集群 。 权利要求书2页 说明书10页 附图3页 CN 115391006 A 2022.11.25 CN 115391006 A 1.一种异构多集群的数据处 理方法， 其特 征在于， 包括： 在Kubernetes数据处理系统中增加新的Kubernetes虚拟节点， 将每个所述Kubernetes 虚拟节点与异构多集群中的每 个异构集群相对应； 基于所述Kubernetes虚拟节点 为每个所述异构集群单独创建一个适配 器； 在Kubernetes数据处理系统中部署一个与所述适配器相对应的节点代理程序， 其中， 所述适配器通过所述节点代理程序可与Kubernetes的应用编程接口服 务器通信； 基于所述节点代理程序， 将所述应用编程接口服务器对kubelet的操作转换为对异构 集群的作业操作。 2.根据权利要求1所述的一种异构多集群的数据处理方法， 其特征在于， 所述在 Kubernetes数据处理系统中增加新的Kubernetes虚拟节点， 将每个所述Kubernetes虚拟节 点与异构多集群中的每 个异构集群相对应包括： 通过编写实现vir tual‑kubelet中供应节点接口 的Ping功能； 通过编写实现所述vir tual‑kubelet中供应节点接口 的通知节点状态 功能； 启动所述virtual ‑kubelet的虚拟节点服务， 在Kubernetes数据处理系统中增加一个 新的Kubernetes虚拟节点， 将每个所述Kubernetes虚拟节点与异构多集群中的每个异构集 群相对应。 3.根据权利要求2所述的一种异构多集群的数据处理方法， 其特征在于， 所述基于所述 Kubernetes虚拟节点 为每个所述异构集群单独创建一个适配 器包括： 基于所述Kubernetes虚拟节点为每个所述异构集群单独创建一个适配器， 使用Gol ang 语言为适配器编写统一接口， 所述统一接口包括创建作业、 停止作业、 获取作业信息和获取 作业资源规格功能， 其中， 接口 的编写需要调用所述 适配器对应异构集群的原生API。 4.根据权利要求3所述的一种异构多集群的数据处理方法， 其特征在于， 所述在 Kubernetes数据处理系统中部署一个与所述适配器相对应的节点代理程序， 其中， 所述适 配器通过所述节点代理程序可与Kubernetes的应用编程接口服 务器通信包括： 基于virtual‑kubelet开源框架创建一个节点代理程序； 编写所述节点代理程序的接口标准， 实现virtual ‑kubelet开源框架中 PodLifecycleH andler接口的创建Pod、 删除Pod、 获取Pod信息、 通知Pod和通知节点状态功 能； 基于所述创建Pod、 删除Pod、 获取Pod信息、 通知Pod和通知节点状态功能， 实现所述节 点代理程序与Kubernetes的应用编程接口服 务器的通信。 5.根据权利要求4所述的一种异构多集群的数据处理方法， 其特征在于， 所述基于所述 节点代理程序， 将所述应用编程接口服务器对kubelet的操作转换为对异构集群的作业操 作包括： 基于所述节点代理程序的创建Pod功能调用适配 器统一接口 的创建作业功能； 基于所述节点代理程序的删除Pod功能调用适配 器统一接口 的停止作业功能； 基于所述节点代理程序的获取Pod信息功能调用适配器统一接口的获取作业信息功 能； 基于所述节点代理程序的通知Pod功能， 通过定时任务调用适配器统一接口的获取作 业信息功能获取作业状态并更新Pod的状态；权　利　要　求　书 1/2 页 2 CN 115391006 A 2基于节点代理程序的通知节点状态功能， 通过定时任务调用适配器统一接口的获取作 业资源规格获取异构集群的资源情况并更新虚拟节点的资源状态。 6.根据权利要求5所述的一种异构多集群的数据处理方法， 其特征在于， 所述创建作业 功能用于向对应的异构集群提交创建作业的请求， 所述停止作业功能用于将正在异构集群 中运行的作业进行停止 。 7.根据权利要求6所述的一种异构多集群的数据处理方法， 其特征在于， 所述获取作业 信息功能用于向异构集群获取作业的信息， 获取作业资源规格功能用于向异构集群获取资 源规格的信息 。 8.根据权利要求7所述的一种异构多集群的数据处理方法， 其特征在于， 所述创建Pod 功能通过调用所述适配器统一接口的创建作业功能将Kuber netes创建的单集群Pod转换为 创建异构集群的作业， 所述删除Pod功能通过调用所述适配器统一接口的停止作业功能将 Kubernetes要删除的单集群Pod转换为删除对应的异构集群作业。 9.根据权利要求8所述的一种异构多集群的数据处理方法， 其特征在于， 所述获取Pod 信息功能通过调用所述适配器统一接口的获取作业信息功能将Kub ernetes的应用编程接 口服务器获取Pod信息转换为获取对应的异构集群作业信息 。 10.根据权利要求9所述的一种异构多集群的数据处理方法， 其特征在于， 所述通知Pod 功能通过定时调用所述适配器统一接口的获取作业信息功能向Kuber netes通知Pod状态的 信息， 所述通知节点状态功能通过定时调用所述适配器统一接口的获取作业资源规格功能 获取异构集群资源信息， 并向Kubernetes通知节点资源的信息 。 11.一种异构多集群的数据处 理装置， 其特 征在于， 包括： 虚拟节点模块， 用于在Kubernetes数据处理系统中增加新 的Kubernetes虚拟节点， 将 每个所述Kubernetes虚拟节点与异构多集群中的每 个异构集群相对应； 创建适配器模块， 用于基于所述Kubernetes虚拟节点为每个所述异构集群单独创建一 个适配器； 软件创建模块， 用于在 Kubernetes数据处理系统中部署一个与所述适配器相对应的节 点代理程序， 其中， 所述适配器通过所述节点代理程序可与Kub ernetes的应用编程接口服 务器通信； 操作转换模块， 用于基于所述节点代 理程序， 将所述应用编程接口服务器对kubelet的 操作转换为对异构集群的作业操作。 12.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有一个或者 多个程序， 所述一个或者多个程序可被一个或者多个处理器执行， 以实现如权利要求1 ‑10 任意一项所述的异构多集群的数据处 理方法中的步骤。 13.一种终端设备， 其特征在于， 包括： 处理器、 存储器及通信总线； 所述存储器上存储 有可被所述处 理器执行的计算机可读程序； 所述通信总线实现处 理器和存 储器之间的连接通信； 所述处理器执行所述计算机可读程序时实现如权利要求1 ‑10任意一项所述的异构多 集群的数据处 理方法中的步骤。权　利　要　求　书 2/2 页 3 CN 115391006 A 3