(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111652551.2 (22)申请日 2021.12.3 0 (71)申请人 北京尘锋信息技 术有限公司 地址 100020 北京市朝阳区安 立路78、 80号 05层501内506室 (72)发明人 赵继帆　梁龙　 (74)专利代理 机构 北京东灵通专利代理事务所 (普通合伙) 61242 代理人 李金豹 (51)Int.Cl. G06F 16/332(2019.01) G06F 40/30(2020.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种对话数据中问答对的抽取方法 (57)摘要 本发明属于客服问答技术领域， 尤其是一种 对话数据中问答对的抽取方法， 包括DusBERT模 型， 所述DusBERT模型是对原始BERT模型进行裁 剪后， 并在对话数据上进行再训练的预训练模 型， 且DusBERT模型包 括有数据分析单元， 数据预 处理单元、 数据训练单元、 数据分析单元、 数据预 测单元和数据评估单元， 所述数据分析单元具体 包括以下步骤： S11： 首先将对话数据通过滑动窗 口的方式对数据进行切分， 进行数据分析。 本发 明的网络架构计算过程可完全并行,在大量会话 数据的情况下， 性能可以保障； 网络充分考虑上 下文， 对于简 略的问题， 例如 “为什么”可以从文 中获取信息， 从而 对定位答案有比较大的帮助。 权利要求书2页 说明书4页 附图1页 CN 114281975 A 2022.04.05 CN 114281975 A 1.一种对话数据中问答对的抽取方法， 包括DusBERT模型， 其特征在于， 所述DusBERT模 型是对原始BERT模 型进行裁剪后， 并在对话数据上进 行再训练的预训练模 型， 且DusBERT模 型包括有数据分析单元， 数据预处理单元、 数据训练单元、 数据分析单元、 数据预测单元和 数据评估单 元， 所述数据分析 单元具体包括以下步骤： S11： 首先将对话数据通过滑动窗口 的方式对数据进行切分， 进行 数据分析； S12： 将对话数据进行分析后， 99％的问答对出现在不同utterance的距离不超过5， 为 了充足融合上 下文， 将滑动窗口 的吧距离设为9， 数据标注也按照此 方式进行切分； S13： 将该滑动窗口内的问题按照出现顺序标注为Qi， 该问题的所有回答标注为Ai， 为了 质检对问题是否回答， 对没有答案的问题 也进行同样的标注， 非问题问答案的utterance标 记为O。 2.根据权利要求1所述的一种 对话数据中问答对的抽取方法， 其特征在于， 所述数据 预 处理单元具体包括以下操作步骤： S21： 对每个utterance去掉emoji表情个特殊符号的话预处理手段后， 对每个 utterance进行格式化输入形式： S22： 当utterances长度不足9采用[ PAD]字符填充， 推断时可不进行填充。 3.根据权利要求2所述的一种对话数据中问答对的抽取方法， 其特征在于， 在所述S21 的步骤中， [CLS][SEP]是DusBERT的标准输出格式， [SPEAKi]分别用来表示对话角色， i＝0 表示是客服， i＝1表示客户， [SPEAKi]在表示角色的同时能够捕获相应utterance 的语义， 表示第j个ut terance的第k个to ken。 4.根据权利要求3所述的一种 对话数据中问答对的抽取方法， 其特征在于， 所述数据训 练单元具体包括以下步骤： S31： 训练时， 取出所有[SPEAK]的编码接FFN做二分类， 用作判断对应的utterance是否 是问句； S32： 考虑到出现类别不均衡， 损失函数采用Focal Loss； S33： 推断时则直接判断FFN的输出， 如当输出的sigmoid值大于0.5时则是问句， 反之则 不是。 5.根据权利要求4所述的一种 对话数据中问答对的抽取方法， 其特征在于， 所述数据分 析单元具体包括两个方面， 且第一方面是是问句utterance的语义表征， 和对应答案 utterance的语义表征要 有相关性， 另一方面 就是某些问题和答案在字面上要 有相关性。 6.根据权利要求5所述的一种 对话数据中问答对的抽取方法， 其特征在于， 所述第 一方 面的具体方法为： 将问句utterance对应[SPEAK]的编码和所有其它句子进行多头注 意力操 作。 7.根据权利要求6所述的一种 对话数据中问答对的抽取方法， 其特征在于， 所述另一方 面具体包括以下步骤： S41： 将不同utterance 的token编码进行平均池化， 用问句utterance池化的结果与其 它utterance池化的结果进行哈达姆积以及差， 然后将两者concatenate， 再与池化结果进权　利　要　求　书 1/2 页 2 CN 114281975 A 2行相加， 再接FNN用作分类， 用来判断该utterance是不是问题的答案， 同样的， 存在类别 不 均衡， 损失函数采用Focal Loss； S42： 训练时， 由于每个输入存在多个问题， 在第二步的答案预测时， 从每条数据中采样 一个作为第二 步的训练； S43： 预测时， 则分别将多个问题进行所述S31和S32的计算， 当FFN输出的sigmoid值大 于0.5则是问题的答案， 反 之则不是。 8.根据权利要求1所述的一种 对话数据中问答对的抽取方法， 其特征在于， 所述数据 预 测单元在预测时， 将新的会话按照数据分析单元 的方式切分， 然后分别经过数据预处理单 元、 数据训练单元和数据分析单元拿到每段的问题以及 对应的答案， 相同的问题保留一次， 想问问题的答案如果在5句之内可进行集成。 9.根据权利要求1所述的一种 对话数据中问答对的抽取方法， 其特征在于， 所述数据评 估单元的评估方式采用类似序列标注的sequence评估方式。权　利　要　求　书 2/2 页 3 CN 114281975 A 3