说明:收录全网最新的团体标准 提供单次或批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211156960.8 (22)申请日 2022.09.22 (71)申请人 杭州安恒信息技 术股份有限公司 地址 310000 浙江省杭州市滨江区西兴街 道联慧街18 8号 (72)发明人 汤乐奇 杜东方  (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 常亮 (51)Int.Cl. G06F 8/20(2018.01) G06F 8/30(2018.01) G06F 9/445(2018.01) (54)发明名称 一种任务处理方法、 装置、 设备及可读存储 介质 (57)摘要 本申请公开了一种任务处理方法、 装置、 设 备及可读存储介质, 该方法包括: 载入并解析待 创建flink数据流链对应的yaml配置文件, 得到 数据流向图和算子节点列表; 利用数据流向图, 初始化初始节 点和各个算子节 点; 按照算子节点 列表和/或数据流向图中对应的连接方式, 连接 初始节点和各个算子节点, 得到flink数据流链; 启动flink数据流链, 并利用flink数据流链执行 实时流任务。 本申请能够使 得开发人员方便地对 数据流走向、 运行配置进行调整, 提升了代码的 可维护性, 提高开发效率。 权利要求书2页 说明书11页 附图3页 CN 115495050 A 2022.12.20 CN 115495050 A 1.一种任务处 理方法, 其特 征在于, 包括: 载入并解析待创建flink数据流链对应的yaml配置文件, 得到数据流向图和算子节点 列表; 利用所述数据流向图, 初始化初始 节点和各个算子节点; 按照所述算子节点列表和/或所述数据流向图中对应的连接方式, 连接所述初始节点 和各个所述 算子节点, 得到所述fl ink数据流链; 启动所述fl ink数据流链, 并利用所述fl ink数据流链执 行实时流任务。 2.根据权利要求1所述的任务处理方法, 其特征在于, 利用所述数据流向图, 初始化初 始节点, 包括: 从所述数据流向图中识别出所述起始节点; 所述数据流向图包括每个所述算子节点对 应的实体 类数组, 每 个所述实体 类数组包括节点名称和下游 节点列表; 利用所述 起始节点对应的Clas s文件, 判断所述 起始节点的节点类型 是否为数据源; 如果是, 则构建数据源节点, 并通过所述数据源节点的数据输出结构定义反射所述起 始节点的数据结构。 3.根据权利要求2所述的任务处理方法, 其特征在于, 利用所述数据流向图, 初始化各 个所述算子节点, 包括: 从所述数据流向图中, 读取 所述初始 节点的下游 节点列表, 得到各个所述 算子节点; 从所述算子节点列表查询数据结构; 根据查询结果, 确定各个所述 算子节点的数据结构。 4.根据权利要求3所述的任务处理方法, 其特征在于, 根据查询结果, 确定各个所述算 子节点的数据结构, 包括: 若查询到当前算子节点的数据 结构, 则利用所述数据结构设置所述当前算子节点的数 据结构; 若未查询到所述当前算子节点的数据 结构, 则获取所述当前算子节点对应的上一个算 子节点的数据结构; 利用所述上一个算子节点的数据结构确定所述当前算子节点的数据结构。 5.根据权利要求4所述的任务处理方法, 其特征在于, 利用所述上一个算子节点的数据 结构确定所述当前算子节点的数据结构, 包括: 将所述上一个算子节点的数据输出 结构, 确定所述当前算子节点的数据输入结构; 将所述数据输入结构设置为所述当前算子节点的数据输出 结构。 6.根据权利要求1所述的任务处理方法, 其特征在于, 按照所述算子节点列表和/或所 述数据流向图中对应的连接方式, 连接所述初始节点和各个所述算子节 点, 得到所述flink 数据流链, 包括: 若多个上游算子节点需连接同一下游算子节点, 则利用下游算子节点的所述上游节点 连接方式, 将多个所述上游算子节点与所述下游算子节点进行 连接。 7.根据权利要求1至6任一项所述的任务处理方法, 其特征在于, 按照所述算子节点列 表和/或所述数据流向图中对应的连接方式, 连接所述初始节点和各个所述算子节点, 得到 所述flink数据流链, 包括: 遍历所述 算子节点列表, 得到 Class文件;权 利 要 求 书 1/2 页 2 CN 115495050 A 2根据所述clas s文件反射构建相关的节点 函数, 并记录所述节点 函数的连接类型; 按照所述连接类型, 将上游的所述算子节点与所述节点函数进行连接, 直到所述初始 节点与各个所述 算子节点连接 完毕, 得到所述fl ink数据流链。 8.一种任务处 理装置, 其特 征在于, 包括: 配置载入模块, 用于载入并解析待创建flink数据流链对应的yaml配置文件, 得到数据 流向图和算子节点列表; 节点初始化模块, 用于利用所述数据流向图, 初始化初始 节点和各个算子节点; 节点连接模块, 用于按照所述算子节点列表和/或所述数据流向图中对应的连接方式, 连接所述初始 节点和各个所述 算子节点, 得到所述fl ink数据流链; 任务执行模块, 用于启动所述flink数据流链, 并利用所述flink数据流链执行实时流 任务。 9.一种电子设备, 其特 征在于, 包括: 存储器, 用于存 储计算机程序; 处理器, 用于执行所述计算机程序时实现如权利要求1至7任一项所述任务处理方法的 步骤。 10.一种可读存储介质, 其特征在于, 所述可读存储介质上存储有计算机程序, 所述计 算机程序被处 理器执行时实现如权利要求1至7任一项所述任务处 理方法的步骤。权 利 要 求 书 2/2 页 3 CN 115495050 A 3

.PDF文档 专利 一种任务处理方法、装置、设备及可读存储介质

文档预览
中文文档 17 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共17页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种任务处理方法、装置、设备及可读存储介质 第 1 页 专利 一种任务处理方法、装置、设备及可读存储介质 第 2 页 专利 一种任务处理方法、装置、设备及可读存储介质 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 16:31:41上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。