(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211029216.1 (22)申请日 2022.08.26 (65)同一申请的已公布的文献号 申请公布号 CN 115118727 A (43)申请公布日 2022.09.27 (73)专利权人 北京数牍科技有限公司 地址 100083 北京市海淀区成府路28号优 盛大厦A座1801 (72)发明人 蔡超超　韦晓亚　 (74)专利代理 机构 北京东方亿 思知识产权代理 有限责任公司 1 1258 专利代理师 邹永恒 (51)Int.Cl. H04L 67/10(2022.01) H04L 67/1074(2022.01) H04L 67/561(2022.01)G06F 9/50(2006.01) (56)对比文件 US 2014280949 A1,2014.09.18 US 2004098447 A1,20 04.05.20 US 20212 97480 A1,2021.09.23 JP H1010 5522 A,1998.04.24 WO 2021213 075 A1,2021.10.28 US 5699500 A,1997.12.16 US 20213 67861 A1,2021.1 1.25 CN 114697372 A,202 2.07.01 US 2020202 246 A1,2020.0 6.25 US 2016301768 A1,2016.10.13 WO 2022001375 A1,202 2.01.06 US 2022043585 A1,202 2.02.10 CN 10980 0236 A,2019.0 5.24 US 2016041918 A1,2016.02.1 1 审查员 詹文慧 (54)发明名称 分布式计算架构的数据传输方法、 装置、 设 备及存储介质 (57)摘要 本申请公开了一种分布式计算架构的数据 传输方法、 装置、 设备及存储介质， 属于通信技术 领域。 第一数据集的数据存储于数据发送方的N 个计算节点中； 数据接收方分配M个计算节点存 储第一数据集的数据； 方法包括： 发送针对第一 数据集的数据获取请求， 数据获取请求包括M个 计算节点分别对应的第一数据集的键取值范围； 通过M个计算节点接收N个计算节点发送的第一 数据集的数据； 其中， M个计算节点中的第i计算 节点接收的第一数据集的数据由N个计算节点中 的至少一个计算节点发送； 至少一个计算节点分 别对应的第一数据集的键取值范围与第i计算节 点对应的第一数据集的键取值范围存在交集。 本 申请能够实现分布式计算架构数据的高效传输 和灵活传输 。 权利要求书4页 说明书17页 附图4页 CN 115118727 B 2022.11.29 CN 115118727 B 1.一种分布式计算架构中的数据传输方法， 应用于数据接收方， 其特征在于， 所述数据 接收方用于从数据发送方接 收第一数据集； 其中， 所述第一数据集的数据存储于所述数据 发送方的N个计算节点中； 所述数据接收方分配M个计算节点存储所述第一数据集的数据； 所述N个计算节点和所述M个计算节点中存在分别来自所述数据发送方和所述接 收方的至 少两个计算节点对应的所述第一数据集的键取值范围不同， N和M为 正整数； 所述方法包括： 向所述数据发送方发送针对所述第 一数据集的数据获取请求， 所述数据获取请求包括 所述M个计算节点分别对应的所述第一数据集的键取值范围； 通过所述M个计算节点接收所述 N个计算节点发送的所述第一数据集的数据； 其中， 所述M个计算节点中的第i计算节点接收的所述第一数据集的数据由所述N个计 算节点中的至少一个计算节点发送， i的取值范围为1至M， 且i为正整数； 所述N个计算节点 中的至少一个计算节点分别对应的所述第一数据集的键取值范围与所述第i计算节点对应 的所述第一数据集的键取值范围存在交集； 每个所述计算节点对应的所述第一数据集的键 取值范围用于指示 其负责存 储的所述第一数据集的数据； 所述数据发送方包括第一驱动器和第一计算资源池， 所述第一计算资源池包括所述N 个计算节点； 所述数据接 收方包括第二驱动器和第二计算资源池， 所述第二计算资源池包 括所述M个 计算节点； 所述向所述数据发送方发送针对所述第 一数据集的数据获取请求之前， 所述方法还包 括： 所述第二驱动器接收所述第一驱动器发送的第一信息， 所述第一信息包括所述N个计 算节点的地址信息， 以及所述 N个计算节点分别对应的所述第一数据集的键取值范围； 所述第二驱动器根据 所述M个计算节点分别对应的所述第 一数据集的键取值范围和所 述N个计算节点分别对应的所述第一数据集的键取值范围， 确定所述N个计算节点中各计算 节点与所述M个计算节点中各计算节 点之间的对应关系； 其中， 具有对应关系的计算节点对 应的所述第一数据集的键取值范围存在交集； 所述第二驱动器根据所述对应关系， 向所述M个计算节点分别发送数据获取任务， 其 中， 所述第i计算节点的数据获取任务包括所述N个计算节 点中的至少一个计算节点的地址 信息， 以及所述第i计算节点对应的所述第一数据集的键取值范围； 所述向所述数据发送方发送针对所述第一数据集的数据获取请求， 包括： 所述M个计算节点分别根据 所述数据获取任务， 向所述N个计算节点发送针对所述第一 数据集的数据获取请求； 其中， 所述第 i计算节点发送的数据获取请求的目的地址信 息为所述N个计算节点中的 至少一个计算节点的地址信息， 所述第i计算节 点发送的数据获取请求包括所述第i计算节 点对应的所述第一数据集的键取值范围。 2.根据权利要求1所述的方法， 计算节点包括任务分发服 务和数据传输服 务； 所述第二驱动器根据所述对应关系， 向所述M个计算节点分别发送数据获取任务， 包 括： 所述第二驱动器根据所述对应关系， 向所述M个计算节点的任务分发服务分别发送数 据获取任务；权　利　要　求　书 1/4 页 2 CN 115118727 B 2所述M个计算节点分别根据所述数据获取任务， 向所述N个计算节点发送数据获取请 求， 包括： 所述M个计算节点分别根据 所述数据获取任务， 向所述N个计算节点的数据传输服务发 送数据获取请求； 所述通过所述M个计算节点接收所述N个计算节点发送的所述第一数据集的数据， 包 括： 所述M个计算节点的数据传输服务接收所述N个计算节点发送的所述第一数据集的数 据。 3.一种分布式计算架构中的数据传输方法， 应用于数据发送方， 其特征在于， 所述数据 发送方用于 向数据接 收方发送第一数据集； 其中， 所述第一数据集的数据存储于所述数据 发送方的N个计算节点中； 所述数据接收方分配M个计算节点存储所述第一数据集的数据； 所述N个计算节点和所述M个计算节点中存在分别来自所述数据发送方和所述接 收方的至 少两个计算节点对应的所述第一数据集的键取值范围不同， N和M为 正整数； 所述方法包括： 接收所述数据接收方发送的针对所述第 一数据集的数据获取请求， 所述数据获取请求 包括所述M个 计算节点分别对应的所述第一数据集的键取值范围； 通过所述N个计算节点向所述M个 计算节点发送所述第一数据集的数据； 其中， 所述M个计算节点中的第i计算节点接收的所述第一数据集的数据由所述N个计 算节点中的至少一个计算节点发送， i的取值范围为1至M， 且i为正整数； 所述N个计算节点 中的至少一个计算节点分别对应的所述第一数据集的键取值范围与所述第i计算节点对应 的所述第一数据集的键取值范围存在交集； 每个所述计算节点对应的所述第一数据集的键 取值范围用于指示 其负责存 储的所述第一数据集的数据； 所述数据发送方包括第一驱动器和第一计算资源池， 所述第一计算资源池包括所述N 个计算节点； 所述数据接 收方包括第二驱动器和第二计算资源池， 所述第二计算资源池包 括所述M个 计算节点； 所述接收所述数据接收方发送的针对所述第 一数据集的数据获取请求之前， 所述方法 还包括： 所述第一驱动器向所述第二驱动器发送第一信息， 所述第一信息包括所述N个计算节 点的地址信息， 以及所述 N个计算节点分别对应的所述第一数据集的键取值范围； 所述接收所述数据接收方发送的针对所述第一数据集的数据获取请求， 包括： 所述N个计算节点接收所述M个 计算节点发送的针对所述第一数据集的数据获取请求； 其中， 所述第 i计算节点发送的数据获取请求的目的地址信 息为所述N个计算节点中的 至少一个计算节点的地址信息， 所述第i计算节 点发送的数据获取请求包括所述第i计算节 点对应的所述第一数据集的键取值范围。 4.一种分布式计算架构的数据传输装置， 应用于数据接收方， 其特征在于， 所述数据接 收方用于从数据发送方接 收第一数据集； 其中， 所述第一数据集的数据存储于所述数据发 送方的N个计算节点中； 所述数据接 收方分配M个计算节点存储所述第一数据集的数据； 所 述N个计算节点和所述M个计算节点中存在分别来自所述数据发送方和所述接 收方的至少 两个计算节点对应的所述第一数据集的键取值范围不同， N和M为 正整数；权　利　要　求　书 2/4 页 3 CN 115118727 B 3