(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211202770.5 (22)申请日 2022.09.29 (71)申请人 南京燧坤智能科技有限公司 地址 210046 江苏省南京市栖霞区纬地路9 号F7楼3层321室 (72)发明人 于翠楠　 (74)专利代理 机构 北京康信知识产权代理有限 责任公司 1 1240 专利代理师 董文倩 (51)Int.Cl. G06F 40/126(2020.01) G06F 9/50(2006.01) G06K 9/62(2022.01) (54)发明名称 文本处理模型的训练方法、 系统及装置 (57)摘要 本发明公开了一种文本处理模型的训练方 法、 系统及装置。 其中， 该方法包括： 获取多组编 码向量中的当前组编码向量， 其中， 多组编码向 量按照预定时间顺序排列， 多组编码向量分别包 括预定数量的编码向量； 基于当前组编码向量， 采用文本处理模 型进行迭代训练， 得到第一文本 处理模型； 根据预定时间顺序， 获取多组编码向 量中的下一组编码向量； 对当前 组编码向量和下 一组编码向量进行处理， 得到处理后的编码向 量； 基于处理后的编码向量， 采用第一文本处理 模型进行迭代训练， 得到更新后的第一文本处理 模型。 本发 明解决了由于相关技术在进行文本处 理模型训练时将多篇文本同时存放至GPU中， 导 致的内存空间占用大， GPU运行速率低且模型训 练效率低的技 术问题。 权利要求书3页 说明书13页 附图4页 CN 115455909 A 2022.12.09 CN 115455909 A 1.一种文本处 理模型的训练方法， 其特 征在于， 包括： 获取多组编码向量中的当前组编码向量， 其中， 所述多组编码向量是中央处理器对目 标文本中包括的语句按照预定规则进 行划分处理得到的， 所述多组编 码向量按照预定时间 顺序排列； 基于所述当前组编码向量， 采用文本处 理模型进行迭代训练， 得到第一文本处 理模型； 根据所述预定时间顺序， 获取 所述多组编码向量中的下一组编码向量； 对所述当前组编码向量和所述下一组编码向量进行处理， 得到处理后的编码向量， 其 中， 所述处 理为以下任意之一： 求和处 理， 替换处 理， 内积处 理； 基于所述处理后的编码向量， 采用所述第一文本处理模型进行迭代训练， 得到更新后 的第一文本处 理模型。 2.根据权利要求1所述的方法， 其特征在于， 在所述基于所述处理后的编码向量， 采用 所述第一文本处理模型进行迭代训练， 得到更新后的第一文本处理模型之后， 所述方法还 包括： 判断所述下一组编码向量是否为所述多组编码向量中的最后一组编码向量； 若所述下一组编码向量为所述最后一组编码向量， 则将所述更新后的第 一文本处理模 型作为目标文本处 理模型。 3.根据权利要求2所述的方法， 其特 征在于， 所述方法还 包括： 若所述下一组编码向量不为所述最后 一组编码向量， 则将所述下一组编码向量作为新 的所述当前组编码向量， 以及基于预定时间顺序， 从所述多组编码向量中获取新的所述下 一组编码向量， 循环执行以下操作， 直至所述下一组编 码向量为所述最后一组编 码向量： 对 新的所述当前组编 码向量和新的所述下一组编 码向量进行 处理， 得到新的处理后的编 码向 量； 基于新的所述处理后的编码向量， 采用所述更新后的第一文本处理模型进 行迭代训练， 得到新的所述更新后的第一文本处 理模型； 将所述最后一组编码向量对应的更新后的第一文本处理模型作为所述目标文本处理 模型。 4.根据权利要求1至 3中任意一项所述的方法， 其特 征在于， 所述方法还 包括： 在获取所述多组编码向量中的所述当前组编码向量之后， 将所述当前组编码向量存储 至记忆模块中； 在获取所述多组编码向量中的所述下一组编码向量之后， 对所述当前组编码向量和所 述下一组编码向量进行处理， 得到处理后的编码向量， 并将所述处理后的编码向存储至所 述记忆模块中。 5.一种文本处 理模型的训练方法， 其特 征在于， 包括： 获取目标文本中包括的语句， 以及所述目标文本中包括的语句对应的编码向量； 将所述目标文本 中包括的语句对应的编码向量按照预定规则划分为多组， 得到按照预 定时间顺序排列的多组编 码向量； 将所述多组编码向量中的当前组编 码向量发送至微处理 器， 用于所述微处理器基于所述当前 组编码向量， 采用文本处理模型进 行迭代训练， 得到第 一文本处 理模型； 基于所述预定时间顺序， 将所述多组编码向量中的下一组编码向量发送至所述微处理 器， 用于所述微处理器对所述当前组编码向量和所述下一组编码向量进行处理， 得到处理权　利　要　求　书 1/3 页 2 CN 115455909 A 2后的编码向量； 基于所述处理后的编码向量， 采用所述第一文本处理模型进行迭代训练， 得 到更新后的第一文本处理模 型， 其中， 所述处理为以下任意之一： 求和处理， 替换 处理， 内积 处理。 6.一种文本处 理模型的训练方法， 其特 征在于， 包括： 中央处理器获取目标文本 中包括的语句， 以及所述目标文本 中包括的语句对应的编码 向量； 将所述 目标文本中包括的语句对应的编码向量划分为多组， 得到按照预定时间顺序 排列的多组编码向量， 并将所述多组编码向量中的当前组编码向量发送至微处 理器； 所述微处理器基于所述当前组编码向量， 采用文本处理模型进行迭代训练， 得到第一 文本处理模型； 所述中央处理器根据 所述预定时间顺序， 将所述多组编码向量中的下一组编码向量发 送至所述 微处理器； 所述微处理器对所述当前组编码向量和所述下一组编码向量进行处理， 得到处理后的 编码向量， 其中， 所述处理为以下任意之一： 求和处理， 替换处理， 内积处理； 基于所述处理 后的编码向量， 采用所述第一文本处理模型进行迭代训练， 得到更新后的第一文本处理模 型。 7.一种文本处 理模型的训练系统， 其特 征在于， 包括： 中央处理器， 用于获取目标文本中包括的语句， 以及所述目标文本中包括的语句对应 的编码向量； 将所述 目标文本中包括的语句对应的编码向量按照预定规则划分为多组， 得 到按照预定时间顺序排列的多组编 码向量， 并将所述多组编码向量中的当前组编 码向量发 送至微处 理器； 所述微处理器， 与所述中央处理器连接， 用于基于所述当前组编码向量， 采用文本处理 模型进行迭代训练， 得到第一文本处 理模型； 所述中央处理器还用于根据 所述预定时间顺序， 将所述多组编码向量中的下一组编码 向量发送至所述 微处理器； 所述微处理器还用于对所述当前组编码向量和所述下一组编码向量进行处理， 得到处 理后的编码向量， 其中， 所述处理为以下任意之一： 求和处理， 替换处理， 内积处理； 基于所 述处理后的编码向量， 采用所述第一文本处理模型进行迭代训练， 得到更新后的第一文本 处理模型。 8.根据权利要求7中任意一项所述的系统， 其特征在于， 所述微处理器还包括： 记忆模 块， 其中， 所述记忆模块用于在获取所述多组编码向量中的所述当前组编码向量之后， 对所述当 前组编码向量进行存 储； 所述记忆模块还用于在获取所述多组编码向量中的所述下一组编码向量之后， 对所述 当前组编码向量和所述下一组编码向量进行处理， 得到处理后的编码向量， 并对所述处理 后的编码向量进行存 储。 9.一种文本处 理模型的训练装置， 其特 征在于， 包括： 第一获取模块， 用于获取多组编码向量中的当前组编码向量， 其中， 所述多组编码向量 是中央处理器对目标文本中包括的语句按照预定规则进行划分处理得到的， 所述多组编码 向量按照预定时间顺序排列；权　利　要　求　书 2/3 页 3 CN 115455909 A 3