说明:收录全网最新的团体标准 提供单次或批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210823032.6 (22)申请日 2022.07.12 (71)申请人 北京爱奇艺科技有限公司 地址 100080 北京市海淀区海淀北一 街2号 11层1101 (72)发明人 蔡英杰  (74)专利代理 机构 北京华夏泰和知识产权代理 有限公司 1 1662 专利代理师 卢万腾 (51)Int.Cl. G06F 40/289(2020.01) G06F 40/30(2020.01) (54)发明名称 干扰词识别方法、 装置、 电子设备及存储介 质 (57)摘要 本发明实施例涉及一种干扰词识别方法、 装 置、 电子设备及存储介质, 所述方法包括: 获取待 识别文本, 对所述待识别文本进行分词处理, 得 到所述待识别文本的分词集合; 针对 所述分词集 合中每一分词, 获取所述待识别文本删除所述分 词后的目标文本; 确定所述待识别文本与所述目 标文本之间的语义差异度以及用户行为差异度; 根据所述用户行为差异度以及所述语义差异度, 识别所述分词是否为干扰词。 由此, 可 以实现从 语义差异度以及用户行为差异度两个方面, 进行 干扰词识别, 提高对待识别文本的干扰词识别的 准确率。 权利要求书3页 说明书16页 附图5页 CN 115329762 A 2022.11.11 CN 115329762 A 1.一种干扰词识别方法, 其特 征在于, 所述方法包括: 获取待识别文本, 对所述待识别文本进行分词处 理, 得到所述待识别文本的分词集 合; 针对所述分词集 合中每一分词, 获取 所述待识别文本删除所述分词后的目标文本; 确定所述待识别文本与所述目标文本之间的语义差异度以及用户行为差异度; 根据所述用户行为差异度以及所述语义差异度, 识别所述分词是否为干扰词。 2.根据权利要求1所述的方法, 其特征在于, 所述确定所述待识别文本与所述目标文本 之间的语义差异度以及用户行为差异度, 包括: 通过预设的语言模型, 计算所述待识别文本的第 一语义值以及所述目标文本的第 二语 义值; 根据所述第 一语义值以及所述第 二语义值, 确定所述待识别文本与 所述目标文本之间 的语义差异度; 确定所述待识别文本对应的第 一用户行为值, 以及所述目标文本对应的第 二用户行为 值; 根据所述第 一用户行为值以及所述第 二用户行为值, 确定所述待识别文本与 所述目标 文本之间的用户行为差异度。 3.根据权利要求2所述的方法, 其特征在于, 所述用户行为包括搜索行为; 所述确定所 述待识别文本对应的第一用户行为 值, 以及所述目标文本对应的第二用户行为 值, 包括: 对所述待识别文本进行搜索, 确定所述待识别文本对应的第一搜索结果数量; 对所述目标文本进行搜索, 确定所述目标文本对应的第二搜索结果数量; 确定所述第 一搜索结果数量为第 一搜索行为值, 以及确定所述第 二搜索结果数量为第 二搜索行为 值。 4.根据权利要求3所述的方法, 其特征在于, 所述用户行为还包括点击行为; 所述确定 所述待识别文本对应的第一用户行为值, 以及所述 目标文本对应的第二用户行为值, 还包 括: 对所述待识别文本进行搜索, 确定所述待识别文本对应的第一搜索结果; 确定用户点击所述第一搜索结果的第一 点击次数; 对所述目标文本进行搜索, 确定所述目标文本对应的第二搜索结果; 确定用户点击所述第二搜索结果的第二 点击次数; 确定所述第一点击次数为第一点击行为值, 以及确定第二点击次数为第二点击行为 值。 5.根据权利要求4所述的方法, 其特征在于, 所述根据所述第 一用户行为值以及所述第 二用户行为 值, 确定所述待识别文本与所述目标文本之间的用户行为差异度, 包括: 根据所述第一搜索行为值, 以及所述第二搜索行为值, 确定所述待识别文本与所述目 标文本之间的搜索行为差异度; 根据所述第一点击行为值, 以及所述第二点击行为值, 确定所述待识别文本与所述目 标文本之间的点击行为差异度; 确定所述搜索行为差异度以及所述 点击行为差异度为用户行为差异度。 6.根据权利要求1所述的方法, 其特征在于, 所述根据所述用户行为差异度以及所述语 义差异度, 识别所述分词是否为干扰词, 包括:权 利 要 求 书 1/3 页 2 CN 115329762 A 2将所述用户行为差异度以及所述语义差异度输入至已训练 的干扰词判别模型中, 得到 所述分词对应的判别值; 将所述判别值与预设的判别阈值进行比较, 以识别所述分词是否为干扰词; 若所述判别值大于或等于所述判别阈值, 则识别所述分词非干扰词; 若所述判别值小于所述判别阈值, 则识别所述分词为干扰词。 7.根据权利要求1所述的方法, 其特征在于, 在所述获取所述待识别文本删除所述分词 后的目标文本之前, 还 包括: 针对所述分词集合中每一分词, 对所述分词进行词性标注, 得到所述分词的词性标注 信息; 判断所述词性标注信息是否为目标词性标注信息; 若是, 则识别所述分词为干扰词; 若否, 则执 行所述获取 所述待识别文本删除所述分词后的目标文本的步骤。 8.根据权利要求6所述的方法, 其特征在于, 所述已训练 的干扰词判别模型具体通过以 下方式得到: 针对预设文本库中每一文本, 确定所述文本中的干扰词, 对所述文本中的干扰词进行 标注; 对经过干扰词标注的所述文本进行分词处理, 得到经过干扰词标注的所述文本的目标 分词集合; 针对所述目标分词集合中任一目标分词, 获取经过干扰词标注的所述文本删除所述目 标分词后的剩余文本; 确定经过干扰词标注的所述文本与所述剩余文本之间的目标语义差异度以及目标用 户行为差异度; 根据所述目标语义差异度、 所述目标用户行为差异度 以及所述分词的干扰词标注情 况, 对干扰词判别模型进行训练。 9.根据权利要求8所述的方法, 其特征在于, 所述确定经过干扰词标注的所述文本与 所 述剩余文本之间的目标语义差异度以及目标用户行为差异度, 包括: 通过预设的语言模型, 计算经过干扰词标注的所述文本的第 三语义值以及所述剩余文 本的第四语义 值; 根据所述第 三语义值以及所述第四语义值, 确定经过干扰词标注的所述文本与所述剩 余文本之间的目标语义差异度; 确定经过干扰词标注的所述文本对应的第 三用户行为值, 以及所述剩余文本对应的第 四用户行为 值; 根据所述第 三用户行为值以及所述第四用户行为值, 确定经过干扰词标注的所述文本 与所述剩余文本之间的目标用户行为差异度。 10.根据权利要求9所述的方法, 其特征在于, 所述用户行为包括搜索行为; 所述确定经 过干扰词标注的所述文本对应的第三用户行为值, 以及所述剩余文本对应的第四用户行为 值, 包括: 对经过干扰词标注的所述文本进行搜索, 确定所述文本对应的第三搜索结果数量; 对所述剩余文本进行搜索, 确定所述剩余文本对应的第四搜索结果数量;权 利 要 求 书 2/3 页 3 CN 115329762 A 3

.PDF文档 专利 干扰词识别方法、装置、电子设备及存储介质

文档预览
中文文档 25 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共25页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 干扰词识别方法、装置、电子设备及存储介质 第 1 页 专利 干扰词识别方法、装置、电子设备及存储介质 第 2 页 专利 干扰词识别方法、装置、电子设备及存储介质 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 14:12:45上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。