(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210780514.8 (22)申请日 2022.07.04 (71)申请人 上海交通大 学 地址 200240 上海市闵行区东川路80 0号 (72)发明人 朱亚杰　卢宏涛　 (74)专利代理 机构 上海段和段律师事务所 31334 专利代理师 黄磊 (51)Int.Cl. G06F 40/279(2020.01) G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于注意力机制的文本意图识别方法、 系 统、 车辆及设备 (57)摘要 本发明提供了一种基于注意力机制的文本 意图识别方法、 系统、 车辆及设备， 包括： 获取并 处理输入的语 言文本信息， 进行基于字符和分词 语句的向量化处理， 以得到基于字符和分词语句 的初始向量； 进行多个卷积核处理、 多个窗口池 化处理、 RELU激活函数处理和级联处理获得优化 的基于字符语句向量和基于分词的语句向量； 进 行注意力机制处理进行拼接并加权以获得基于 字符和分词语句的加权向量； 进行部分元素丢弃 和变换以获得基于字符和分词语句的目标向量； 经过神经网络的全连接层进行计算 以识别得到 与语言文本信息对应的文本意图和相应的文本 意图概率。 本发 明能够快速准确地识别中文短文 本意图， 便于人机多轮对话系统的自然语言理 解， 提升用户体验。 权利要求书3页 说明书11页 附图2页 CN 115114908 A 2022.09.27 CN 115114908 A 1.一种基于注意力机制的文本意图识别方法， 其特 征在于， 包括： 步骤S1： 获取并处理输入的语言文本信息， 对语言文本信息进行基于字符和分词语句 的向量化处理， 以得到基于 字符和分词语句的初始向量； 步骤S2： 对基于字符和分词语句的初始向量进行多个卷积核处理、 多个窗口池化处理、 RELU激活函数处 理和级联处 理获得优化的基于 字符语句向量和基于分词的语句向量； 步骤S3： 优化的基于字符语句向量和基于分词的语句向量注意力 机制处理进行拼接并 加权以获得基于 字符和分词语句的加权向量； 步骤S4： 对基于字符和分词语句的加权向量进行部分元素丢弃和变换以获得基于字符 和分词语句的目标向量； 步骤S5： 对基于字符和分词语句的目标向量经过神经网络的全连接层进行计算以识别 得到与语言文本信息对应的文本意图和相应的文本意图概 率。 2.根据权利要求1所述的基于注意力机制的文本意图识别方法， 其特 征在于： 在所述步骤S1中： 神经网络获取输入的语言文本信息； 根据预设置的与自然语言特征相匹配的占位符类型、 字符和分词长度对语言文本信 息 进行处理； 在所述步骤S2中： 分别对基于字符和分词语句的初始向量进行多个卷积核处理以得到基于字符和分词 语句的多个卷积向量； 采用预设置的多个池化窗口对基于字符和分词语句的多个卷积向量分别进行多窗口 池化处理以获得基于 字符和分词语句的多个池化向量； 通过RELU激活函数对所述基于字符和分词语句的多个池化向量中的负数值元素转换 为零， 并保持其 他元素不变以获得基于 字符和分词语句的多个激活向量。 3.根据权利要求1所述的基于注意力机制的文本意图识别方法， 其特 征在于： 在所述步骤S3中： 拼接基于字符和分词语句的多个激活向量以分别获得优化的基于字符语句向量和基 于分词的语句向量； 优化的基于字符语句向量和基于分词的语句向量注意力机制处理进行拼接并加权以 获得基于 字符和分词语句的加权向量； 在所述步骤S4中： 运用dropout_prob函数随机丢弃目标向量中的一半元素并乘以1/dropout_prob进行 变换以获得基于 字符和分词语句的目标向量。 4.根据权利要求1所述的基于注意力 机制的文本意图识别方法， 其特征在于， 在所述步 骤S5中： 预测的文本意图和实际该文本意图进行损失值或准确率计算： 权　利　要　求　书 1/3 页 2 CN 115114908 A 2Loss为样本的实际意图与预测意图的总损失值； n代表样本总数量； m代表意图总个数； i代表样本数量； yi代表第i个样本实际意图； pi代表第i个样本的预测意图概 率； Accuracy为意图识别预测的准确率， TP为正样本预测正确的样本个数， TN为负样本预 测正确的样本个数， FP为 正样本预测错 误的样本个数， FN 为负样本预测错 误的样本个数； 神经网络全连接层运用公式argmax(y)、 y＝x*w+b和 计算以识别得 到与所述语言文本信息对应的文本意图和相应的文本意图概 率； 其中， x为输入值,w为权重， b为偏置， y为文本对应所有意图的得分或m个意图的得分， n 为所述语 言文本信息中的n句话或n个语 言文本信息， m为预设值的m种意图类别， argmax(y) 函数为求最大得分的意图类别， softmax(yi)函数为第i个样本对应预测意图的概率值， m代 表样本对应的所有意图个数， xi代表样本的某个预测意图得分。 5.一种基于注意力机制的文本意图识别系统， 其特 征在于， 包括： 模块M1： 获取并处理输入的语言文本信息， 对语言文本信息进行基于字符和分词语句 的向量化处理， 以得到基于 字符和分词语句的初始向量； 模块M2： 对基于字符和分词语句的初始向量进行多个卷积核处理、 多个窗口池化处理、 RELU激活函数处 理和级联处 理获得优化的基于 字符语句向量和基于分词的语句向量； 模块M3： 优化的基于字符语句向量和基于分词的语句向量注意力 机制处理进行拼接并 加权以获得基于 字符和分词语句的加权向量； 模块M4： 对基于字符和分词语句的加权向量进行部分元素丢弃和变换以获得基于字符 和分词语句的目标向量； 模块M5： 对基于字符和分词语句的目标向量经过神经网络的全连接层进行计算以识别 得到与语言文本信息对应的文本意图和相应的文本意图概 率。 6.根据权利要求5所述的基于注意力机制的文本意图识别系统， 其特 征在于： 在所述模块M1中： 神经网络获取输入的语言文本信息； 根据预设置的与自然语言特征相匹配的占位符类型、 字符和分词长度对语言文本信 息 进行处理； 在所述模块M2中： 分别对基于字符和分词语句的初始向量进行多个卷积核处理以得到基于字符和分词 语句的多个卷积向量； 采用预设置的多个池化窗口对基于字符和分词语句的多个卷积向量分别进行多窗口 池化处理以获得基于 字符和分词语句的多个池化向量； 通过RELU激活函数对所述基于字符和分词语句的多个池化向量中的负数值元素转换 为零， 并保持其 他元素不变以获得基于 字符和分词语句的多个激活向量。 7.根据权利要求5所述的基于注意力机制的文本意图识别系统， 其特 征在于： 在所述模块M 3中： 拼接基于字符和分词语句的多个激活向量以分别获得优化的基于字符语句向量和基 于分词的语句向量； 优化的基于字符语句向量和基于分词的语句向量注意力机制处理进行拼接并加权以权　利　要　求　书 2/3 页 3 CN 115114908 A 3