(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211202817.8 (22)申请日 2022.09.29 (71)申请人 南京燧坤智能科技有限公司 地址 210046 江苏省南京市栖霞区纬地路9 号F7楼3层321室 (72)发明人 于翠楠　 (74)专利代理 机构 北京康信知识产权代理有限 责任公司 1 1240 专利代理师 董文倩 (51)Int.Cl. G06F 40/258(2020.01) G06F 9/50(2006.01) G06K 9/62(2022.01) (54)发明名称 文本处理方法、 文本处理模 型的更新方法及 装置 (57)摘要 本发明公开了一种文本处理方法、 文本处理 模型的更新方法及装置。 其中， 该方法包括： 获取 多篇目标文本； 基于多篇目标文本， 采用预先训 练的目标语言模 型， 得到多篇目标文本分别对应 的标题表 示向量、 摘要表示向量及正文内容表示 向量； 根据标题表示向量、 摘要表示向量及正文 内容表示向量， 得到多篇目标文本分别对应的聚 合表示向量； 将多篇目标文本分别对应的聚合表 示向量以预订数量为一组划分为多组， 并将多组 预订数量的聚合表示向量按照预定顺序发送至 微处理器； 接收更新后的预订数量的聚合表示向 量。 本发明解决了由于相关技术在进行文本处理 模型训练时将多篇文本同时存放至GPU中， 导致 的内存空间占用大， GPU运行速率低且模型训练 效率低的技 术问题。 权利要求书3页 说明书14页 附图4页 CN 115455951 A 2022.12.09 CN 115455951 A 1.一种文本处 理方法， 其特 征在于， 包括： 获取多篇目标文本； 基于所述多篇目标文本， 采用预先训练的目标语言模型， 得到所述多篇目标文本分别 对应的标题 表示向量、 摘要表示向量以及正文内容表示向量； 根据所述多篇目标文本分别对应的所述标题表示向量、 所述摘要表示向量以及所述正 文内容表示向量， 得到所述多篇目标文本分别对应的聚合表示向量； 将所述多篇目标文本分别对应的所述 聚合表示向量以预订数量为一组划分为多组， 并 将多组预订数量的聚合表示向量按照预定顺序发送至微处理器， 用于所述微处理器依次基 于所述预订数量的聚合表示向量对文本处理模型进行迭代训练， 得到更新后的文本处理模 型和更新后的所述预订数量的聚合表示向量； 接收更新后的所述预订数量的聚合表示向量。 2.根据权利要求1所述的方法， 其特征在于， 基于所述多篇目标文本， 采用预先训练的 目标语言模型， 得到所述多篇目标文本分别对应的所述摘要表示向量， 包括： 获取所述多篇目标文本分别对应的摘要， 以及所述摘要对应的多个摘要语句； 基于所述多个摘要语句， 采用所述目标语言模型， 得到所述多个摘要语句分别对应的 第一语句表示向量； 确定所述多个摘要语句分别对应的所述第一语句表示向量的第一权 重值； 基于所述第一语句表示向量和所述第一权 重值， 得到所述摘要表示向量。 3.根据权利要求1所述的方法， 其特征在于， 基于所述多篇目标文本， 采用预先训练的 目标语言模型， 得到所述多篇目标文本分别对应的所述 正文内容表示向量， 包括： 获取所述多篇目标文本分别对应的正文内容， 以及所述正文内容对应的多个正文语 句； 基于所述多个正文语句， 采用所述目标语言模型， 得到所述多个正文语句分别对应的 第二语句表示向量； 基于所述多个正文语句分别对应的所述第 二语句表示向量， 所述标题表示向量以及所 述摘要表示向量， 得到所述 正文内容表示向量。 4.根据权利要求3所述的方法， 其特征在于， 所述基于所述多个正文语句分别对应的第 二语句表示向量， 所述标题表 示向量以及所述摘要表示向量， 得到所述正文内容表示向量， 包括： 确定所述多个正文语句分别对应的所述第二语句表示向量与所述标题表示向量之间 的第一余弦相似度； 确定所述多个正文语句分别对应的所述第二语句表示向量与所述摘要表示向量之间 的第二余弦相似度； 基于所述第 一余弦相似度和所述第 二余弦相似度， 确定所述多个正文语句分别对应的 相似度得分； 对所述多个正文语句分别对应的所述相似度得分进行归一化处理， 得到所述多个正文 语句分别对应的第二权 重值； 基于所述第二语句表示向量和所述第二权 重值， 得到所述 正文内容表示向量。 5.根据权利要求1至4中任一项所述的方法， 其特征在于， 所述将所述多篇目标文本分权　利　要　求　书 1/3 页 2 CN 115455951 A 2别对应的所述聚合表示向量以预订数量为一组划分为多组， 并将多组预订数量的聚合表示 向量按照预定顺序发送至微处 理器， 包括： 将所述多篇目标文本分别对应的所述 聚合表示向量发送至硬盘设备， 并由所述硬盘设 备用于将所述多篇目标文本分别对应的所述聚合表示向量以所述预订数量为一组划分为 多组， 以及将多组所述预订数量的聚合表示向量按照预定顺序发送至所述 微处理器。 6.一种文本处 理模型的更新方法， 其特 征在于， 包括： 获取预订数量的聚合表示向量， 其中， 所述预订数量的聚合表示向量是中央处理器基 于多篇目标文本， 采用预先训练的目标语言模型， 得到所述多篇 目标文本分别对应的标题 表示向量、 摘要表示向量以及正文内容表示向量； 根据所述多篇 目标文本分别对应的所述 标题表示向量、 所述摘要表示向量以及所述正文内容表示向量， 得到所述多篇目标文本分 别对应的聚合表示向量； 将所述多篇目标文本 分别对应的所述聚合表示向量以预订数量为 一组划分为多组， 并将多组所述预订数量的聚合表示向量按照预定顺序发送过来的； 基于所述预订数量的聚合表示向量， 采用文本处理模型进行迭代训练， 得到更新后的 文本处理模型， 以及更新后的所述预订数量的聚合表示向量； 将更新后的所述预订数量的聚合表示向量发送至所述中央处 理器。 7.根据权利要求6所述的方法， 其特征在于， 所述基于所述预订数量的聚合表示向量， 采用文本处理模型进行迭代训练， 得到更新后的文本处理模型， 以及更新后的所述预订数 量的聚合表示向量， 包括： 对所述预订数量的聚合表示向量进行处 理， 得到目标表示向量； 基于所述目标表示向量， 采用所述文本处理模型进行迭代训练， 得到所述更新后的文 本处理模型， 以及更新后的所述预订数量的聚合表示向量。 8.一种文本处 理方法， 其特 征在于， 包括： 中央处理器获取多篇目标文本； 基于所述多篇目标文本， 采用预先训练的目标语言模 型， 得到所述多篇 目标文本分别对应的标题表示向量、 摘要表示向量以及正文内容表示向 量； 所述中央处理器根据 所述多篇目标文本分别对应的所述标题表示向量、 所述摘要表示 向量以及所述 正文内容表示向量， 得到所述多篇目标文本分别对应的聚合表示向量； 所述中央处理器将所述多篇目标文本分别对应的所述聚合表示向量以预订数量为一 组划分为多组， 并将多组预订数量的聚合表示向量按照预定顺序发送至微处 理器； 所述微处理器基于所述预订数量的聚合表示向量， 采用文本处理模型进行迭代训练， 得到更新后的文本处理模型， 以及更新后的所述预订数量的聚合表示向量， 并将更新后的 所述预订数量的聚合表示向量发送至所述中央处 理器。 9.根据权利要求8所述的方法， 其特征在于， 所述中央处理器将所述多篇目标文本分别 对应的所述聚合表示向量以预订数量为一组划分为多组， 并将多组预订数量的聚合表示向 量按照预定顺序发送至微处 理器， 包括： 所述中央处 理器将所述多篇目标文本分别对应的所述聚合表示向量发送至硬 盘设备； 所述硬盘设备将所述多篇目标文本分别对应的所述聚合表示向量以所述预订数量为 一组划分为多组， 并将多组所述预订数量的聚合表示向量按照预定顺序发送至所述微处理 器。权　利　要　求　书 2/3 页 3 CN 115455951 A 3