(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210822568.6 (22)申请日 2022.07.12 (71)申请人 平安科技 （深圳） 有限公司 地址 518000 广东省深圳市福田区福田街 道福安社区益田路5033号平 安金融中 心23楼 (72)发明人 李志韬　王健宗　程宁　 (74)专利代理 机构 深圳市世联合知识产权代理 有限公司 4 4385 专利代理师 姜妍 (51)Int.Cl. G06F 16/33(2019.01) G06F 16/332(2019.01) G06F 16/35(2019.01) G06F 40/30(2020.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 意图识别方法、 装置、 计算机设备及存储介 质 (57)摘要 本申请实施例属于人工智能领域， 涉及一种 意图识别方法、 装置、 计算机设备及存储介质， 方 法包括： 获取训练文本和全量标签序列； 对训练 文本和全量标签序列进行交叉编码， 得到联合表 征向量， 并对其中的文本序列表征向量和标签序 列表征向量进行注意力交互得到训练文本表征 向量； 通过初始意图识别模型处理训练文本表征 向量， 得到多意图预测结果； 并通过标签二维共 现预测得到二维共现预测结果， 通过标签高维共 现预测得到高维共现预测结果； 基于各预测结果 计算联合损失， 以调整模型得到意图识别模型； 并通过其进行意图识别得到多意图识别结果。 此 外， 本申请还涉及区块链技术， 训练文本和全量 标签序列可存储于区块链中。 本申请提高了意图 识别的准确性。 权利要求书3页 说明书16页 附图3页 CN 115114407 A 2022.09.27 CN 115114407 A 1.一种意图识别方法， 其特 征在于， 包括下述 步骤： 获取带有意图标签序列的训练文本和全量标签序列； 将所述训练文本和所述全量标签序列输入初始意图识别模型， 以对所述训练文本和所 述全量标签序列进行交叉编码， 得到联合表征向量； 对所述联合表征向量中的文本序列表征向量和标签序列表征向量进行注意力交互， 得 到训练文本表征向量； 通过所述初始意图识别模型处 理所述训练文本表征向量， 得到多意图预测结果； 从所述意图标签序列中随机选取意图标签以将其标签表征向量作为第 一向量， 并从所 述全量标签序列中随机选取意图标签以将其标签表征向量作为第二向量； 其中， 标签表征 向量为对意图标签交叉编码后得到的向量； 将所述第一向量和所述第 二向量拼接后输入标签二维共现预测模型， 得到二维共现预 测结果； 从所述意图标签序列中随机选取预设数量的意图标签作为高维预测标签， 以根据其标 签表征向量计算融合向量， 并将所述全量标签序列中各高维预测标签以外的意图标签的标 签表征向量设置为补集向量； 将所述融合向量与 各补集向量拼接后输入标签高维共现预测模型， 得到高维共现预测 结果； 基于所述多意图预测结果、 所述二维共现预测结果和所述高维共现预测结果计算联合 损失； 根据所述联合损失对所述初始意图识别模型进行调整， 直至所述联合损失满足训练停 止条件， 得到意图识别模型； 通过所述意图识别模型对待识别文本进行意图识别， 得到多意图识别结果。 2.根据权利要求1所述的意图识别方法， 其特征在于， 所述将所述训练文本和所述全量 标签序列输入初始意图识别模型， 以对所述训练文本和所述全量标签序列进行交叉编码， 得到联合表征向量的步骤 包括： 根据所述训练文本中的各字符和所述全量标签序列中的各意图标签构建初始序列； 将所述初始序列映射 为向量序列； 将所述向量序列输入编码器， 以通过所述编码器中的多个编码层对所述向量序列中的 字符向量和标签向量进行 交叉编码， 得到最后一层编 码层输出的文本序列表征向量和标签 序列表征向量； 将所述文本序列表征向量和所述标签序列表征向量确定为联合表征向量。 3.根据权利要求2所述的意图识别方法， 其特征在于， 所述对所述联合表征向量中的文 本序列表征向量和标签序列表征向量进行注意力交互， 得到训练文本表征向量的步骤包 括： 对所述联合表征向量中的标签序列表征向量进行转置， 得到转置标签序列表征向量； 将所述联合表征向量中的文本序列表征向量与所述转置标签序列表征向量进行点乘 运算， 得到相关度分数矩阵； 所述相关度分数矩阵表征字符与意图标签之间的相关度； 将所述相关度分数矩阵输入激活模型， 得到第三向量； 将所述第三向量输入第一激活函数， 并将所述激活函数的函数结果进行转置， 得到第权　利　要　求　书 1/3 页 2 CN 115114407 A 2四向量； 将所述第四向量与所述文本序列表征向量进行点乘运 算， 得到训练文本表征向量。 4.根据权利要求1所述的意图识别方法， 其特征在于， 所述通过所述初始意图识别模型 处理所述训练文本表征向量， 得到多意图预测结果的步骤 包括： 将所述训练文本表征向量输入所述初始意图识别模型的全连接层， 得到第五向量； 将所述第五向量输入第二激活函数， 得到第六向量； 根据所述第六向量中各 元素的数值， 生成多意图预测结果。 5.根据权利要求1所述的意图识别方法， 其特征在于， 所述基于所述多意图预测结果、 所述二维共现预测结果和所述高维共现预测结果计算联合损失的步骤 包括： 基于所述多意图预测结果和所述 意图标签序列计算第一损失； 根据选取到的意图标签构建二维共现标签和高维共现标签； 通过所述二维共现预测结果和所述 二维共现标签 计算第二损失； 根据所述高维共现预测结果和所述高维共现标签 计算第三损失； 对所述第一损失、 所述第二损失和所述第三损失进行线性 运算， 得到联合损失。 6.根据权利要求1所述的意图识别方法， 其特征在于， 所述根据 所述联合损失对所述初 始意图识别模型进行调整， 直至所述联合损失满足训练停止条件， 得到意图识别模型 的步 骤包括： 以减小所述联合损失为目标调整所述初始意图识别模型、 所述二维共现预测模型和所 述高维共现预测模型的模型参数； 对参数调整后的所述初始意图识别模型、 所述二维共现预测模型和所述高维共现预测 模型进行迭代训练， 直至所述联合损失满足训练停止条件， 得到意图识别模型。 7.根据权利要求1所述的意图识别方法， 其特征在于， 所述通过所述意图识别模型对待 识别文本进行意图识别， 得到多意图识别结果的步骤 包括： 获取待识别文本； 将所述待识别文本和所述全量标签序列输入意图识别模型， 以对所述待识别文本和所 述全量标签序列进行交叉编码， 得到联合表征向量； 对所述联合表征向量中的文本序列表征向量和标签序列表征向量进行注意力交互， 得 到文本表征向量； 通过所述意图识别模型处 理所述文本表征向量， 得到多意图识别结果。 8.一种意图识别装置， 其特 征在于， 包括： 获取模块， 用于获取 带有意图标签序列的训练文本和全量标签序列； 交叉编码模块， 用于将所述训练文本和所述全量标签序列输入初始意图识别模型， 以 对所述训练文本和所述全量标签序列进行交叉编码， 得到联合表征向量； 向量交互模块， 用于对所述联合表征向量中的文本序列表征向量和标签序列表征向量 进行注意力交 互， 得到训练文本表征向量； 意图预测模块， 用于通过所述初始意图识别模型处理所述训练文本表征向量， 得到多 意图预测结果； 二维选取模块， 用于从所述意图标签序列中随机选取意图标签以将其标签表征向量作 为第一向量， 并从所述全量标签序列中随机选取意图标签以将其标签表征向量作为第二向权　利　要　求　书 2/3 页 3 CN 115114407 A 3