(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210621742.0 (22)申请日 2022.06.02 (71)申请人 哈尔滨理工大 学 地址 150080 黑龙江省哈尔滨市南岗区学 府路52号哈尔滨理工大 学西区 (72)发明人 黄金杰　曹玉峰　 (51)Int.Cl. G06F 40/295(2020.01) G06F 40/30(2020.01) G06F 40/126(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 7/00(2006.01) (54)发明名称 基于知识融合的嵌入的多意图识别与槽位 填充模型 (57)摘要 一种基于知识融合嵌入的多意图识别与槽 位填充方法， 本发明公开了一种基于知识融合嵌 入的槽位门意图识别方法： 包括以下步骤： 在字 符‑向量的基础上， 将数据库中的实体处理为实 体向量， 并与实体对应的属性向量一起拼接到 字‑词 向 量 中 构 成 知 识 融 合 向 量 ， 作 为 WordEmbedding输入到模型中； 将得到的知识融 合向量输入槽位门控网络来进行槽位填充以及 意图预测。 实验表明， 此方法可 以让输入带有丰 富的语义信息知识， 同时， 应用槽位门机制来影 响意图预测的准确率， 使 得短文本意图识别效果 较明显， 从而更准确的完成文本分类任务。 本发 明应用于问答系统中的文本分类任务， 尤其是对 于短文本的缺乏上下文语境， 特征不明显等问 题。 权利要求书2页 说明书4页 附图3页 CN 115238691 A 2022.10.25 CN 115238691 A 1.一种基于知识融合嵌入的多意图识别与槽位 填充模型， 其特 征在于， 包括以下步骤： 步骤1： 将文本 输入到分词和命名识别联合模型， 输出 得到文本向量表示； 步骤2： 根据上面分词和命名实体识别得到的实体字、 词向量和对应的属性向量结合在 一起， 再将数据库中的实体向量和字、 词向量 拼接成知识融合向量； 步骤3： 将得到的知识融合向量输入到BiLSTM层中生成隐藏状态， 取双向长短时记忆网 络的前向和后向的输出的拼接向量， 然后接一个全 连接层， 再接多个 sigmoid做多 标签意图 分类； 所述步骤3的多意图识别和槽位 填充模型的原理和计算公式如下： 将得到的知识融合向量 处理后， 生成正向隐藏状态 与反向隐藏状态 时间步长的最 终隐藏状态是hi， 它是 和 在时间步长为i时的关联， 即： 将上面得到的融合 向量输入模型 中， 句子级意图识别利用BiLST最后一个隐层状态来计算上下文向量cI,再将 cI和 通过一个全连接层来预测包 含每一个意图的概 率； 槽位标签使用LSTM对编码器的隐状态进行解码， 在每一个step  i， 解码状态 的计 算如公式如下： 其中 是编码器隐状态 的加权平均， 计算方式如公式(2)(3)： 在得到LSTM解码器的输出状态后， 将其送入一个softmax层来预测槽位标签， 然后将意 图信息引入到 槽位填充任务中； 对于槽位填充来说， 知识融合向量x是映射到其对应的槽位标签 的 输入顺序， 对于 每个隐藏状态hi， 我们通过 学习得到的注意力权重 计算上下文向量 作 为LSTM隐藏状态h1， h2， ...， ht的加权和， 公式(4)为槽位上 下文向量表示： 其中： 槽位注意力权 重的计算公式如(5)(6)所示： 其中： σ 代表的是激活函数， 的含义是前馈神经网络的权重矩阵， 接下来， 利用隐藏 状态和槽位上 下文向量进行槽位 填充， 计算过程如公式(7)所示： 其中： 是输入第I个字的槽标签， 是权重矩阵， 用与求取 一样的方法得到意图 上下文向量cI， 利用BiLSTM模型生成的最后时刻的隐含状态来完成意图预测， 公式(8)表示权　利　要　求　书 1/2 页 2 CN 115238691 A 2为意图预测的建模过程： 2.如权利要求1所述的基于知识向量融合的多意图识别和槽位 填充， 其特 征在于： 利用字向量、 词向量以及关键词对应的属性向量结合在一起， 组成包含词语特征的字 ‑ 词向量， 同时， 将数据库中的实体进 行处理得到实体向量， 与前面的字 ‑词向量进 行拼接， 构 成信息融合向量， 将其作为模型的输入， 为模型提供丰富的语义信息 。权　利　要　求　书 2/2 页 3 CN 115238691 A 3