(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210592935.8 (22)申请日 2022.05.27 (71)申请人 深圳市欢太科技有限公司 地址 518057 广东省深圳市南 山区粤海街 道高新南一道13号赋安科技大厦B座 207-2 申请人 OPPO广东移动通信有限公司 (72)发明人 曾冠荣　雷士驰　 (74)专利代理 机构 深圳市智圈知识产权代理事 务所(普通 合伙) 44351 专利代理师 吕静 (51)Int.Cl. G06F 40/30(2020.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 语言处理方法、 装置、 电子设备以及存储介 质 (57)摘要 本申请公开了一种语言处理方法、 装置、 电 子设备以及存储介质， 涉及机器学习技术领域。 该方法包括： 确定待推理任务， 获取与待理任务 对应的待推理语料， 将待推理语料输入已训练的 语言处理模 型， 获得已训练的语言处理模型输出 的与待推理任务相关的推理结果， 其中， 已训练 的语言处理模型包括已训练的主干网络以及分 别与已训练的主干网络连接的多个已训练的检 测头， 多个已训练的检测头分别适配不同的推理 任务。 本申请通过确定语言处理的任务， 利用包 括通用的主干网络和与任务适配的检测头组成 的已训练的语 言处理模型， 对待推理的语料进行 处理， 获取对应语言处理任务的推理结果， 在提 高语言处理效率的同时， 降低了语言处理的成 本。 权利要求书2页 说明书13页 附图6页 CN 115017914 A 2022.09.06 CN 115017914 A 1.一种语言处 理方法， 其特 征在于， 所述方法包括： 确定待推理任务； 获取与所述待推理任务对应的待推理语料； 将所述待推理语料输入已训练 的语言处理模型， 获得所述已训练 的语言处理模型输出 的与所述待推理任务相关的推理结果， 其中， 所述已训练的语言处理模型包括已训练的主 干网络以及分别与所述已训练的主干网络连接的多个已训练的检测头， 所述多个已训练的 检测头分别适配不同的推理任务。 2.根据权利要求1所述的方法， 其特征在于， 所述将所述待推理语料输入已训练 的语言 处理模型， 获得所述已训练的语言处理模型输出 的与所述待推理任务相关的推理结果， 包 括： 从所述多个已训练的检测头中， 确定与所述待推理任务对应的已训练的检测头， 作为 已训练的目标检测头； 将所述待推理语料输入所述已训练 的主干网络， 获得所述已训练 的主干网络输出的所 述待推理语料的特 征信息； 将所述待推理语料的特征信 息输入所述已训练的目标检测头， 获得所述已训练 的目标 检测头输出的与所述待推理任务相关的推理结果。 3.根据权利要求1所述的方法， 其特 征在于， 在所述确定待推理任务之前， 还 包括： 确定训练任务， 并确定与所述训练任务对应的初始模型的检测头， 其中， 所述初始模型 还包括主干网络， 所述主干网络与所述训练任务对应的初始模型的检测头连接； 获取样本语料； 基于所述样本语料对所述初始模型进行训练， 获得已训练的语言处 理模型。 4.根据权利要求3所述的方法， 其特征在于， 所述基于所述样本语料对所述初始模型进 行训练， 获得已训练的语言处 理模型， 包括： 将所述样本语料输入所述初始模型的主干网络， 获得所述初始模型的主干网络输出的 所述样本语料的特 征信息； 将所述样本语料的特征信 息输入与 所述训练任务对应的初始模型的检测头， 对所述初 始模型进行训练， 获得 所述已训练的语言处 理模型。 5.根据权利要求4所述的方法， 其特征在于， 所述样本语料中包括具有标签信 息的多个 语料片段， 所述将所述样本语料的特征信息输入与所述训练任务对应的初始模型的检测 头， 对所述初始模型进行训练， 获得 所述已训练的语言处 理模型， 包括： 将所述样本语料的特征信息和所述标签信息输入与所述训练任务对应的初始模型的 检测头， 对所述初始模型进行训练， 获得 所述已训练的语言处 理模型。 6.根据权利要求4所述的方法， 其特征在于， 所述初始模型还包括全连接层， 所述全连 接层分别与所述主干网络和所述训练任务对应的初始模型的检测头连接， 所述将所述样本 语料的特征信息输入与所述训练任务对应的初始模型的检测头， 对所述初始模型进行训 练， 获得所述已训练的语言处 理模型， 包括： 将所述样本语料的特征信 息输入所述全连接层， 获得所述全连接层输出的目标特征信 息， 其中， 所述目标特征信息由所述全连接层对所述样本语料的特征信息进行维度转化获 得；权　利　要　求　书 1/2 页 2 CN 115017914 A 2将所述目标特征信 息输入与 所述训练任务对应的初始模型的检测头， 对所述初始模型 进行训练， 获得 所述已训练的语言处 理模型。 7.根据权利要求1 ‑6任一项所述的方法， 其特征在于， 所述待推理任务包括序列 标注任 务、 分类任务、 句子关系 判断任务以及生成式任务中的至少一种。 8.一种语言处 理装置， 其特 征在于， 所述装置包括： 任务确定模块， 用于确定待推理任务； 推理语料获取模块， 用于获取与所述待推理任务对应的待推理语料； 推理结果获取模块， 用于将所述待推理语料输入已训练的语言处理模型， 获得所述已 训练的语言处理模型输出 的与所述待推理任务相关的推理结果， 其中， 所述已训练的语言 处理模型包括已训练的主干网络以及分别与所述已训练的主干网络连接的多个已训练的 检测头， 所述多个已训练的检测头分别适配不同的推理任务。 9.一种电子设备， 其特 征在于， 包括： 一个或多个处 理器； 存储器； 一个或多个应用程序， 其中所述一个或多个应用程序被存储在所述存储器中并被配置 为由所述一个或多个处理器执行， 所述一个或多个程序配置用于执行如权利要求1 ‑7任一 项所述的方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中存储有程序代 码， 所述程序代码可被处 理器调用执 行如权利要求1 ‑7任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115017914 A 3