(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111647412.0 (22)申请日 2021.12.2 9 (65)同一申请的已公布的文献号 申请公布号 CN 114490968 A (43)申请公布日 2022.05.13 (73)专利权人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦二层 (72)发明人 苑浩　胡江鹭　孙辉丰　孙叔琦　 常月　李婷婷　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 杜月 (51)Int.Cl. G06F 16/332(2019.01)G06F 40/211(2020.01) G06F 40/284(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) 审查员 靳苗苗 (54)发明名称 对话状态跟踪方法、 模型训练方法、 装置以 及电子设备 (57)摘要 本申请公开了一种对话状态跟踪 方法、 模型 训练方法、 装置以及电子设备， 涉及计算机技术 领域， 尤其涉及深度学习及自然语 言处理等人工 智能领域。 具体实现方案为： 获取当前轮次的对 话语句； 获取对话历史数据； 对话历史数据包括 对话语句的上下文信息和历史对话状态； 根据对 话语句和上下文信息， 获取对话语句之中每个字 的对话状态操作标注数据； 根据对话状态操作标 注数据和历史对话状态， 确定当前轮次的对话状 态。 本申请基于对话状态操作标注数据和历史对 话状态， 确定当前轮次的对话状态， 无需结合场 景， 即可实现对话状态的跟踪。 本申请实现了与 场景解耦的对话状态跟踪 方法， 该对话状态跟踪 方法泛化 性强， 可通用于多种场景。 权利要求书4页 说明书11页 附图6页 CN 114490968 B 2022.11.25 CN 114490968 B 1.一种对话状态 跟踪方法， 包括： 获取当前轮次的对话语句； 获取对话历史数据； 所述对话历史数据包括所述对话语句的上下文信 息和历史对话状 态； 根据所述对话语句和所述上下文信 息， 获取所述对话语句之中每个字的对话状态操作 标注数据； 所述对话状态操作标注数据是将所述对话语句和所述上下文信息输入至对话状 态跟踪模型中得到的， 所述对话状态操作标注数据用于表示不同的对话状态操作， 所述对 话状态操作包括添加操作、 删除操作、 更新操作、 填充操作和结转操作； 其中， 当对话状态中第 一次出现某词槽对应的词槽值 时， 将该词槽值中的每个字的对话状态 操作标注为添加操作； 当对话状态中不使用或抛弃某词槽值时， 将该词槽值中的每个字的 对话状态操作标注为删除操作； 对于对话状态中已经出现过的词槽， 当与该词槽对应的词 槽值发生变化后， 将该词槽值中的每个字的对话状态操作标注为更新操作； 将对话状态中 与对话状态无关的信息中的每个字的对话状态操作标注为填充操作； 对于对话状态中已经 出现过的词槽， 在与该词槽对应的词槽值未发生变化时， 将该词槽值中的每个字的对话状 态操作标注为结转操作； 根据所述对话状态操作标注数据和所述历史对话状态， 确定所述当前轮次的对话状 态。 2.根据权利要求1所述的方法， 其中， 所述根据所述对话语句和所述上下文信息， 获取 所述对话语句之中每 个字的对话状态操作标注数据， 包括： 将所述对话语句和所述上下文信 息输入至预设的对话状态跟踪模型； 所述对话状态跟 踪模型已经预先学习到结合历史上下文信息样本对当前轮次的对话语句样本中每个字进 行对话状态操作的预测能力； 获取所述对话状态跟踪模型输出的所述对话语句之中每个字的对话状态操作标注数 据。 3.根据权利要求2所述的方法， 其中， 所述对话状态跟踪模型为基于预训练模型构建 的。 4.根据权利要求3所述的方法， 其中， 所述对话状态跟踪模型为对训练好的所述预训练 模型进行知识蒸馏而得到的模型。 5.根据权利要求1所述的方法， 其中， 所述根据所述对话状态操作 标注数据和所述历史 对话状态， 确定所述当前轮次的对话状态， 包括： 根据所述对话状态操作标注数据， 确定所述对话语句中词槽值的操作标注数据； 基于所述词槽值所在的词槽和所述对话语句中词槽值的操作 标注数据， 对所述历史对 话状态进行 更新， 获得 所述当前轮次的对话状态。 6.一种对话状态跟踪模型训练方法， 所述对话状态跟踪模型用于对话状态跟踪任务 中， 所述方法包括： 获取多轮次的对话语句 样本和每个所述对话语句样本 中每个字的操作标签真实数据， 所述操作标签真实数据用于表示所述对话语句样本中每个字的真实的对话状态操作， 所述 对话状态操作包括添加操作、 删除操作、 更新操作、 填充操作和结转操作； 其中， 当对话状态中第 一次出现某词槽对应的词槽值 时， 将该词槽值中的每个字的对话状态权　利　要　求　书 1/4 页 2 CN 114490968 B 2操作标注为添加操作； 当对话状态中不使用或抛弃某词槽值时， 将该词槽值中的每个字的 对话状态操作标注为删除操作； 对于对话状态中已经出现过的词槽， 当与该词槽对应的词 槽值发生变化后， 将该词槽值中的每个字的对话状态操作标注为更新操作； 将对话状态中 与对话状态无关的信息中的每个字的对话状态操作标注为填充操作； 对于对话状态中已经 出现过的词槽， 在与该词槽对应的词槽值未发生变化时， 将该词槽值中的每个字的对话状 态操作标注为结转操作； 从所述多轮次的对话语句样本中获取当前轮次的对话语句样本和所述当前轮次的对 话语句样本的上 下文信息样本； 将所述当前轮次的对话语句样本和所述上下文信 息样本输入至预训练模型， 获得所述 当前轮次的对话语句样本中每个字的对话状态操作标注数据； 所述对话状态操作标注数据 用于表示经过所述预训练模型预测得到的所述当前轮次的对话语句样本中每个字的对话 状态操作； 从所述每个所述对话语句样本中每个字的操作标签真实数据中确定出所述当前轮次 的对话语句样本中每 个字的操作标签真实数据； 根据所述当前轮次的对话语句样本中每个字的对话状态操作标注数据和所述当前轮 次的对话语句样 本中每个字的操作标签真实数据， 训练所述预训练模 型， 并获取模型参数， 根据所述模型参数生成所述对话状态 跟踪模型。 7.根据权利要求6所述的方法， 还 包括： 构建双向长短期记 忆网络Bi LSTM模型； 采用所述对话状态跟踪模型对所述BiLSTM模型进行知识蒸馏， 得到知识蒸馏后的 BiLSTM模型， 将所述知识蒸馏后的Bi LSTM模型用于对话状态 跟踪任务中。 8.一种对话状态 跟踪装置， 包括： 第一获取模块， 用于获取当前轮次的对话语句； 第二获取模块， 用于获取对话历史数据； 所述对话历史数据包括所述对话语句的上下 文信息和历史对话状态； 第三获取模块， 用于根据所述对话语句和所述上下文信息， 获取所述对话语句之中每 个字的对话状态操作标注数据； 所述对话状态操作标注数据是将所述对话语句和所述上下 文信息输入至对话状态跟踪模型中得到的， 所述对话状态操作标注数据用于表示不同的对 话状态操作， 所述对话状态操作包括添加操作、 删除操作、 更新操作、 填充操作和结转操作； 其中， 当对话状态中第 一次出现某词槽对应的词槽值 时， 将该词槽值中的每个字的对话状态 操作标注为添加操作； 当对话状态中不使用或抛弃某词槽值时， 将该词槽值中的每个字的 对话状态操作标注为删除操作； 对于对话状态中已经出现过的词槽， 当与该词槽对应的词 槽值发生变化后， 将该词槽值中的每个字的对话状态操作标注为更新操作； 将对话状态中 与对话状态无关的信息中的每个字的对话状态操作标注为填充操作； 对于对话状态中已经 出现过的词槽， 在与该词槽对应的词槽值未发生变化时， 将该词槽值中的每个字的对话状 态操作标注为结转操作； 确定模块， 用于根据所述对话状态操作标注数据和所述历史对话状态， 确定所述当前 轮次的对话状态。权　利　要　求　书 2/4 页 3 CN 114490968 B 3