说明:收录全网最新的团体标准 提供单次或批量下载
文库搜索
切换导航
文件分类
频道
仅15元无限下载
联系我们
问题反馈
文件分类
仅15元无限下载
联系我们
问题反馈
批量下载
(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111513463.4 (22)申请日 2021.12.02 (71)申请人 深圳市金证科技股份有限公司 地址 518000 广东省深圳市南 山区科技园 高新区南区高新南 五道金证科技大楼 8-9楼 (72)发明人 周贤谦 鲁迪超 陈牧 (74)专利代理 机构 深圳市世纪恒程知识产权代 理事务所 4 4287 代理人 胡庆 (51)Int.Cl. G06N 20/00(2019.01) G06F 16/16(2019.01) G06F 16/182(2019.01) (54)发明名称 分布式机器学习模型训练方法、 装置、 设备 及存储介质 (57)摘要 本发明公开了一种分布式机器学习模型训 练方法、 装置、 设备及存储介质, 属于机器学习技 术领域。 本发明通过在获取到用户的训练指令 时, 提取所述训练指令中的训练信息; 基于所述 训练信息从服务器中获取待训练的数据; 根据所 述待训练的数据创建对应的训练模 型; 基于所述 训练模型对所述待训练的数据进行分布式模型 训练, 通过提取用户的训练指令中的训练信息, 根据训练信息从服务器中得到对应的待训练数 据并创建对应的训练模型, 可直接从服务器获取 待训练的数据, 为训练数据的管理提供便利性, 使用分布式部署的方式, 提高模型训练的效率。 权利要求书2页 说明书11页 附图8页 CN 114358309 A 2022.04.15 CN 114358309 A 1.一种分布式机器学习模型训练方法, 其特征在于, 所述分布式机器学习模型训练方 法包括: 在获取到用户的训练指令时, 提取 所述训练指令中的训练信息; 基于所述训练信息从服 务器中获取待训练的数据; 根据所述待训练的数据创建对应的训练模型; 基于所述训练模型对所述待训练的数据进行分布式模型训练。 2.如权利要求1所述的分布式机器学习 模型训练方法, 其特征在于, 所述提取所述训练 指令中的训练信息, 包括: 根据所述训练指令提取对应的场景类型; 根据所述场景类型获取对应的训练信息 。 3.如权利要求1所述的分布式机器学习 模型训练方法, 其特征在于, 所述在获取到用户 的训练指令时, 提取 所述训练指令中的训练信息之前, 还 包括: 在检测到用户进行操作时, 通过预设导入接口获取用户导入的第 一原始文件数据以及 第二原始文件数据, 所述第一原始文件数据的位于第一预设服务器, 所述第二原始文件数 据位于第二预设服 务器, 所述第一预设服 务器与所述第二预设服 务器不同; 读取所述第一原始文件数据的第一数据内容以及所述第二原始文件数据的第二数据 内容; 通过预设拼接方式对所述第 一数据内容以及所述第 二数据内容进行合并, 得到原始文 件数据; 将所述原 始文件数据保存至服 务器, 作为待训练的数据。 4.如权利要求3所述的分布式机器学习 模型训练方法, 其特征在于, 所述将所述原始文 件数据保存至服 务器, 作为待训练的数据之后, 还 包括: 在接收到用户的更新指令时, 提取 所述更新指令中的更新信息; 基于所述更新信息对所述原 始文件数据进行 更新; 将更新后的原 始文件数据保存至服 务器。 5.如权利要求1至4中任一项所述的分布式机器学习模型训练方法, 其特征在于, 所述 基于所述训练模型对所述待训练的数据进行分布式模型训练, 包括: 基于所述训练模型创建模型画 布; 基于所述模型画 布以及所述训练信息建立所述训练模型的功能模块; 根据所述功能模块得到训练流 程; 基于所述训练流 程导入所述待训练的数据得到模型运 算任务; 通过预设分布式系统监控所述模型运算任务, 并通过预设消息队列将所述模型运算任 务发布到对应的服 务器进行并行分布式运 算, 以实现所述待训练数据的分布式模型训练。 6.如权利要求1至4中任一项所述的分布式机器学习模型训练方法, 其特征在于, 所述 基于所述训练模型对所述待训练的数据进行分布式模型训练之后, 还 包括: 将所述模型画 布存储至服务器中对应的预设画 布文件中; 在获取到用户的修改指令时, 提取所述修改指令中的标识信 息, 其中, 所述标识信 息包 括: 实验标识、 模型 标识以及画 布标识其中的一种或多种; 根据所述标识信息对所述预设画 布文件进行解析;权 利 要 求 书 1/2 页 2 CN 114358309 A 2根据解析 结果对所述模型画 布进行重新加载, 以对所述模型画 布进行修改。 7.如权利要求1至4中任一项所述的分布式机器学习模型训练方法, 其特征在于, 所述 基于所述训练模型对所述待训练的数据进行分布式模型训练之后, 还 包括: 设置训练好的模型的版本信息; 将所述版本信息打包为模型 可执行文件; 将所述模型 可执行文件保存至预设数据库以及业 务系统对应的服 务器中; 生成模型发布指令, 并通知所述业务系统, 以使所述业务系统根据所述发布指令确定 模型版本进行模型发布。 8.一种分布式机器学习模型训练装置, 其特征在于, 所述分布式机器学习模型训练装 置包括: 提取模块, 用于在获取到用户的训练指令时, 提取 所述训练指令中的训练信息; 获取模块, 用于基于所述训练信息从服 务器中获取待训练的数据; 创建模块, 用于根据所述待训练的数据创建对应的训练模型; 训练模块, 用于基于所述训练模型对所述待训练的数据进行分布式模型训练。 9.一种分布式机器学习模型训练设备, 其特征在于, 所述分布式机器学习模型训练设 备包括: 存储器、 处理器及存储在所述存储器上并可在所述处理器上运行 的分布式机器学 习模型训练程序, 所述分布式机器学习模型训练程序配置为 实现如权利要求 1至7中任一项 所述的分布式机器学习模型训练方法。 10.一种存储介质, 其特征在于, 所述存储介质上存储有分布式机器学习模型训练程 序, 所述分布式机器学习模 型训练程序被处理器执行时实现如权利要求 1至7中任一项所述 的分布式机器学习模型训练方法。权 利 要 求 书 2/2 页 3 CN 114358309 A 3
专利 分布式机器学习模型训练方法、装置、设备及存储介质
文档预览
中文文档
22 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
赞助1.5元下载(无需注册)
温馨提示:本文档共22页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
下载文档到电脑,方便使用
赞助1.5元下载
本文档由 人生无常 于
2024-03-19 01:21:06
上传分享
举报
下载
原文档
(1.2 MB)
分享
友情链接
GB-T 15918-2010 海洋学综合术语.pdf
GB-T 22116-2008 企业信用等级表示方法.pdf
Apache服务器安全配置基线.doc
GB-T 25295-2010 电气设备安全设计导则.pdf
个人数据合规审计 指南.pdf
GM-T 0024-2014 SSL VPN技术规范.pdf
GB-T 26236.1-2010 信息技术 软件资产管理 第1部分:过程.pdf
GB 50057-2010建筑物防雷设计规范.pdf
GB/T 40997-2021 经外奇穴名称与定位.pdf
T-CAGHP 016—2018 地质灾害监测仪器物理接口规定 试行.pdf
T-CTSS 1—2018 白茶仓储规范.pdf
YD-T 2703-2014 电信网和互联网安全防护基线配置要求及检测要求-web应用系统.pdf
T-CCUA 003—2019 金融信息科技服务外包风险管理能力成熟度评估规范.pdf
GW0203-2014 国家电子政务外网 安全监测体系技术规范与实施指南.pdf
DB52-T 705-2011 人工马尾松地径材积表 贵州省.pdf
GB-T 30276-2020 信息安全技术 网络安全漏洞管理规范.pdf
商业银行信息科技风险管理指引.pdf
YD-T 4060-2022 云计算安全责任共担模型.pdf
GB-T 41785-2022 磁光电混合存储系统通用规范.pdf
GM-T 0079-2020 可信计算平台直接匿名证明规范.pdf
1
/
3
22
评价文档
赞助1.5元 点击下载(1.2 MB)
回到顶部
×
微信扫码支付
1.5
元 自动下载
官方客服微信:siduwenku
支付 完成后 如未跳转 点击这里 下载
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们
微信(点击查看客服)
,我们将及时删除相关资源。