说明:收录全网最新的团体标准 提供单次或批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210661870.8 (22)申请日 2022.06.13 (71)申请人 深圳市北 科瑞声科技股份有限公司 地址 518036 广东省深圳市福田区梅林街 道梅都社区中康路136号深圳新一代 产业园3栋1201-6 (72)发明人 程刚 杨大明 熊霞 冯湘  蒋志燕  (74)专利代理 机构 深圳智汇远见知识产权代理 有限公司 4 4481 专利代理师 蒋学超 (51)Int.Cl. G06F 40/30(2020.01) G06F 40/289(2020.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 文本相似度识别方法、 装置、 电子设备及存 储介质 (57)摘要 本发明涉及人工智能技术, 揭露了一种文本 相似度识别方法, 包括: 获取待匹配文本对, 对所 述待匹配文本对进行数据清洗及语 言类型检测, 得到具有语言类型标签的标准文本对, 根据所述 语言类型标签, 计算所述标准文本对的文本长 度, 并根据所述文本长度对所述标准文本对进行 长短类型判断, 根据所述长短类型判断选择所述 标准文本对的计算策略, 并利用选择的所述相似 度计算策略计算所述标准文本对的相似度识别 结果。 本发明还提出一种文本相似度识别装置、 电子设备以及计算机可读存储介质。 本发明可以 解决文本 语义相似度计算 不准确的问题。 权利要求书2页 说明书10页 附图1页 CN 114925702 A 2022.08.19 CN 114925702 A 1.一种文本相似度识别方法, 其特 征在于, 所述方法包括: 获取待匹配文本对, 对所述待匹配文本对进行数据清洗及语言类型检测, 得到具有语 言类型标签的标准文本对; 根据所述语言类型标签, 计算所述标准文本对的文本长度, 并根据所述文本长度对所 述标准文本对进行长短类型判断; 根据所述长短类型判断选择所述标准文本对的相似度计算策略, 并利用选择的所述相 似度计算策略计算所述标准文本对的相似度识别结果。 2.如权利要求1所述的文本相似度识别方法, 其特征在于, 所述根据所述文本长度对所 述标准文本对进行长短类型判断, 包括: 获取所述标准文本对中包 含的第一文本及第二文本的文本 长度; 若所述标准文本对中的第一文本及第二文本的文本长度均小于等于预设的第一文本 阈值, 则确定所述标准文本对为第一类型文本对; 若所述标准文本对中的第一文本及第二文本的文本长度均大于等于预设的第二文本 阈值, 则确定所述标准文本对为第二类型文本对; 若所述标准文本对中的第 一文本的文本长度小于等于所述第 一文本阈值, 第二文本的 文本长度大于等于所述第二文本阈值, 或第二文本的文本长度小于等于所述第一文本阈 值, 第一文本大于的文本长度等于所述第二文本阈值, 则确定所述标准文本对为第三类型 文本对。 3.如权利要求1所述的文本相似度识别方法, 其特征在于, 所述根据所述长短类型判断 选择所述标准文本对的相似度计算策略, 并利用选择的所述相似度计算策略计算所述标准 文本对的相似度识别结果, 包括: 若所述标准文本对的长短类型为第一类型文本对, 则选择预设的第一计算策略, 并利 用所述第一计算策略计算得到所述标准文本对的相似度识别结果; 若所述标准文本对的长短类型为第二类型文本对, 则选择预设的第二计算策略, 并利 用所述第二计算策略计算得到所述标准文本对的相似度识别结果; 若所述标准文本对的长短类型为第三类型文本对, 则选择预设的第三计算策略, 并利 用所述第三计算策略计算得到所述标准文本对的相似度识别结果。 4.如权利要求3所述的文本相似度识别方法, 其特征在于, 所述利用所述第 一计算策略 计算得到所述标准文本对的相似度识别结果, 包括: 利用LSTM ‑DSSM模型的输入层对所述标准文本对中的文本进行向量转化, 得到第一向 量及第二向量; 利用所述LSTM ‑DSSM模型的表示层分别对所述第一向量及第二向量进行向量解析, 得 到第一潜层语义向量及第二潜层语义向量; 利用所述LSTM ‑DSSM模型的匹配层计算所述第一潜层语义向量及所述第二潜层语义向 量的相似度, 并将所述相似度作为所述标准文本对的相似度识别结果。 5.如权利要求3所述的文本相似度识别方法, 其特征在于, 所述利用所述第 二计算策略 计算得到所述标准文本对的相似度识别结果, 包括: 对所述标准文本对中包含的第 一文本及第 二文本进行分词处理, 得到第 一分词集合及 第二分词集 合;权 利 要 求 书 1/2 页 2 CN 114925702 A 2对所述第一分词集合及所述第 二分词集合中的分词进行向量化处理, 得到第 一词袋向 量及第二词袋向量; 对所述第一词袋向量及所述第 二词袋向量进行向量转化, 得到第 一变换向量及第 二变 换向量, 拼接所述第一变换向量及所述第二变换向量, 得到向量矩阵; 对所述向量矩阵进行奇异值分解, 得到主题分布 矩阵及词义分布 矩阵; 计算所述主题分布矩阵及词义分布矩阵的相似距离, 并将所述相似距离作为所述标准 文本对的相似度识别结果。 6.如权利要求5所述的文本相似度识别方法, 其特征在于, 所述计算所述主题分布矩阵 及词义分布 矩阵的相似距离, 包括: 利用下述海林格公式计算所述主题分布 矩阵及词义分布 矩阵的相似距离: 其中, h(P, Q)为所述主题分布矩阵及词义分布矩阵的相似距离, P为主题分布矩阵对应 的概率分布, Q 为词义分布 矩阵对应的概 率分布。 7.如权利要求3所述的文本相似度识别方法, 其特征在于, 所述利用所述第 三计算策略 计算得到所述标准文本对的相似度识别结果, 包括: 选取所述标准文本对中文本长度最长的文本作为目标文本, 未被选取的文本作为非 目 标文本; 对所述目标文本进行句子分割及编码向量 化, 得到编码向量; 对所述编码向量进行聚类, 得到多个聚类簇, 选取所述多个聚类簇中每个聚类簇最接 近聚类中心的文本作为摘要文本, 根据所述第一匹配策略计算所述摘要文本及所述 非目标 文本的摘要相似度, 并将所述摘要相似度作为所述标准文本对的相似度识别结果。 8.一种文本相似度识别装置, 其特 征在于, 所述装置包括: 标准文本对构建模块, 用于获取待匹配文本对, 对所述待匹配文本对进行数据清洗及 语言类型检测, 得到具有语言类型 标签的标准文本对; 文本对类型判断模块, 用于根据所述语言类型标签, 计算所述标准文本对的文本长度, 并根据所述文本 长度对所述标准文本对进行长短类型判断; 策略匹配及相似度计算模块, 用于根据所述长短类型判断选择所述标准文本对的相似 度计算策略, 并利用选择的所述相似度计算策略计算所述标准文本对的相似度识别结果。 9.一种电子设备, 其特征在于, 包括处理器、 通信接口、 存储器和通信总线, 其中, 处理 器、 通信接口、 存 储器通过通信总线完成相互间的通信; 存储器, 用于存放计算机程序; 处理器, 用于执行存储器上所存放的程序时, 实现权利要求1 ‑7任一项所述的文本相似 度识别方法的步骤。 10.一种计算机可读存储介质, 其上存储有计算机程序, 其特征在于, 所述计算机程序 被处理器执行时实现如权利要求1 ‑7任一项所述的文本相似度识别方法的步骤。权 利 要 求 书 2/2 页 3 CN 114925702 A 3

.PDF文档 专利 文本相似度识别方法、装置、电子设备及存储介质

文档预览
中文文档 14 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共14页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 文本相似度识别方法、装置、电子设备及存储介质 第 1 页 专利 文本相似度识别方法、装置、电子设备及存储介质 第 2 页 专利 文本相似度识别方法、装置、电子设备及存储介质 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 14:13:35上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。