(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210603364.3 (22)申请日 2022.05.30 (71)申请人 北京京东方技 术开发有限公司 地址 100176 北京市大兴区北京经济技 术 开发区地 泽路9号1幢407室 申请人 京东方科技 集团股份有限公司 (72)发明人 冀潮　姜博然　欧歌　张鹏飞　 钟楚千　 (74)专利代理 机构 北京天昊联合知识产权代理 有限公司 1 1112 专利代理师 魏艳新　姜春咸 (51)Int.Cl. G06F 16/332(2019.01) G06F 16/35(2019.01) G06F 40/295(2020.01)G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 指令识别方法及装置、 训练方法、 计算机可 读存储介质 (57)摘要 本公开提供一种指令识别方法， 包括： 获取 目标指令对应的目标文本的各个词元； 将所述各 个词元输入第一模型， 得到各个所述词元的嵌入 向量； 其中， 所述第一模 型包括自注意力模型； 将 各个所述词元的嵌入向量输入第二模 型， 以对所 述目标文本进行意图识别和命名实体识别， 确定 所述目标文本所对应的意图、 以及各个所述词元 所对应的信息槽； 根据所述目标文本所对应的意 图、 以及各个所述词元所对应的信息槽， 识别所 述目标指令。 本公开还提供一种自然语 言模型的 训练方法、 指令识别装置和计算机可读存储介 质。 权利要求书3页 说明书13页 附图5页 CN 114996422 A 2022.09.02 CN 114996422 A 1.一种指令识别方法， 包括： 获取目标指令对应的目标文本的各个词元； 将所述各个词元输入第一模型， 得到各个所述词元的嵌入向量； 其中， 所述第 一模型包 括自注意力模型； 将各个所述词元的嵌入向量输入第 二模型， 以对所述目标文本进行意图识别和命名实 体识别， 确定所述目标文本所对应的意图、 以及各个所述词元 所对应的信息 槽； 根据所述目标文本所对应的意图、 以及各个所述词元所对应的信息槽， 识别所述目标 指令。 2.根据权利要求1所述的指令识别方法， 其中， 若通过命名实体识别确定出至少两个词元对应同一个信 息槽， 则识别所述目标指令具 体包括： 输出歧义消除请求， 以请求用户输入歧义消除信息； 根据所述歧义消除信息， 确定所述同一个信息 槽实际所对应的词元； 根据所述 意图和每 个信息槽所对应的词元， 识别所述目标指令； 若通过命名实体识别确定出不同的词元对应不同的信息槽， 则识别所述目标指令， 具 体包括： 直接根据所述 意图和各个所述词元 所对应的信息 槽， 识别所述目标指令 。 3.根据权利要求1所述的指令识别方法， 其中， 所述目标指令为语音指令， 获取目标指令对应的目标文本的各个词元， 具体包括： 对所述语音指令进行文字识别， 生成所述目标文本； 对所述目标文本进行分词处 理， 得到所述目标文本的各个词元。 4.根据权利要求1至3 中任一项所述的指令识别方法， 其中， 所述第一模型还包括： 嵌入 层， 用于对所述目标文本的多个词元进行嵌入操作， 得到每 个所述词元的初始嵌入向量； 所述第一模型中的自注意力模型包括： 至少一个第一自注意力模型， 所述至少一个第 一自注意力模型用于对每个词元的初始嵌入向量进行特征提取， 得到每个词元的中间嵌入 向量； 其中， 每 个所述第一自注意力模型包括第一自注意力层。 5.根据权利要求 4所述的指令识别方法， 其中， 所述第一自注意力模型还 包括： 第一残差网络层， 其输入包括所述第 一自注意力层的输入和所述第 一自注意力层的输 出； 第一前馈神经网络层， 其输入 包括所述第一残差网络的输出； 第二残差网络层， 其输入包括所述第 一前馈神经网络层的输出以及所述第 一残差网络 的输出。 6.根据权利要求4所述的指令识别方法， 其中， 所述第一模型中的自注意力模型还包 括： 位于所述至少一个第一自注意力模型之后的至少一个第二自注意力模型， 所述至少一 个第二自注意力模型用于对其输入进 行特征提取， 生成每个词元的所述嵌入向量； 其中， 每 个所述第二自注意力模型包括第二自注意力层， 所述第二自注意力层的维度小于所述第一 自注意力层的维度。 7.根据权利要求6所述的指令识别方法， 其中， 所述第一模型还 包括： 维度转换层， 位于所述至少一个第 一自注意力模型和所述至少一个第 二自注意力模型 之间， 用于对所述至少一个第一自注意力模型 的输出进行维度转换， 并将维度转换后的输权　利　要　求　书 1/3 页 2 CN 114996422 A 2出结果作为所述至少一个第二自注意力模型的输入。 8.根据权利要求6所述的指令识别方法， 其中， 所述第 一自注意力层和所述第 二自注意 力层中的至少一 者被配置为执 行以下操作： 将输入向量与训练矩阵相乘， 得到第一词向量矩阵、 第二词向量矩阵和第三词向量矩 阵； 将所述第一词向量矩阵和所述第二词向量矩阵相乘， 得到第四词向量矩阵； 对所述第四词向量矩阵进行归一 化处理得到所述第五词向量矩阵； 基于所述第五词向量矩阵对所述第三词向量矩阵进行加权求和， 得到第六词向量矩 阵。 9.根据权利要求1至8中任一项所述的指令识别方法， 其中， 所述第二模型具体用于根 据预设的窗口宽度对所有词元的嵌入向量进 行分组， 并将同一组中的词元的嵌入向量进 行 拼接， 得到拼接特征； 并根据每一组词元的拼接特征， 对所述目标文本进 行意图识别和命名 实体识别， 确定所述目标文本所对应的意图、 以及目标文本的各个词元 所对应的信息 槽。 10.根据权利要求9所述的指令识别方法， 其中， 所述第二模型包括双向神经网络模型。 11.根据权利要求1至10所述的指令识别方法， 其中， 识别所述目标指令， 之后还 包括： 当接收到用户输入的识别纠 正信息时， 根据所述识别纠 正信息和所述目标指令， 对所 述第一模型和第二模型的参数 更新。 12.一种自然语言处 理模型的训练方法， 包括： 获取第一语料库， 所述第一语料库中包括多个第一样本文本； 将所述第一样本文本的各个词元输入第一初始模型进行预训练， 得到第一中间模型； 其中， 所述第一初始模型包括至少一个自注意力模型； 获取第二语料库， 所述第二语料库中包括多个第二样本文本； 将所述第二样本文本的各个词元输入整体模型进行微调训练， 其中， 所述整体模型包 括所述第一中间模型和第二初始模型， 经过微调训练后的整体模型中包括： 对应于所述第 一中间模型的第一模型和对应于所述第二初始模型的第二模型； 所述第二初始模型用于： 对所述第二样本文本进行意图识别和命名实体识别， 确定所述第 二样本文本所对应的 意图、 以及第二样本文本的各个词元 所对应的信息 槽。 13.根据权利要求12所述的训练方法， 其中， 所述第 一初始模型还包括： 嵌入层， 用于对 所述第一样本文本的多个词元进行嵌入操作， 得到每 个所述词元的初始嵌入向量； 所述第一初始模型中的自注意力模型包括： 至少一个第一自注意力模型， 所述至少一 个第一自注意力模型用于对每个词元的初始嵌入向量进行特征提取， 得到每个词元的中间 嵌入向量； 其中， 每 个所述第一自注意力模型包括第一自注意力层。 14.根据权利要求13所述的训练方法， 其中， 所述第一自注意力模型还 包括： 第一残差网络， 其输入包括所述第一自注意力层的输入和所述第一自注意力层的输 出； 第一前馈神经网络层， 其输入 包括所述第一残差网络的输出； 第二残差网络， 其输入包括所述第 一前馈神经网络层的输出以及所述第 一残差网络的 输出。权　利　要　求　书 2/3 页 3 CN 114996422 A 3