说明:收录全网最新的团体标准 提供单次或批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221078976 5.2 (22)申请日 2022.07.06 (71)申请人 成都潜在人工智能科技有限公司 地址 610000 四川省成 都市高新区益州大 道中段72 2号1栋1单 元12层1210号 (72)发明人 尹学渊 肖钦引 柴金亭 陈洪宇  (74)专利代理 机构 成都睿道专利代理事务所 (普通合伙) 51217 专利代理师 许立 (51)Int.Cl. G06F 40/194(2020.01) G06F 40/279(2020.01) G06F 40/30(2020.01) G06F 16/36(2019.01) (54)发明名称 一种短文本相似度计算方法、 系统及 存储介 质 (57)摘要 本发明提供了一种短文本相似度计算方法、 系统及存储介质, 包括, 获取第一文本和第二文 本; 确定所述第一文本和所述第二文本中字词的 语义相似度; 确定所述第一文本和所述第二文本 中字词的拼音相似度; 其中, 所述拼音相似度至 少包括原始拼音相似度和联想拼音相似度; 确定 所述第一文本和所述第二文本中字词的字形相 似度; 基于所述语义相似度、 所述拼音相似度和 所述字形相似度, 确定所述第一文本和所述第二 文本的相似度, 使得相似度计算更加符合中国人 认字常识, 以更好 地拦截不良信息 。 权利要求书2页 说明书6页 附图2页 CN 115099214 A 2022.09.23 CN 115099214 A 1.一种短文本相似度计算方法, 其特 征在于, 包括, 获取第一文本和第二文本; 确定所述第一文本和所述第二文本中字词的语义相似度; 确定所述第一文本和所述第二文本中字词的拼音相似度; 其中, 所述拼音相似度至少 包括原始拼音相似度和联想拼音相似度; 确定所述第一文本和所述第二文本中字词的字形相似度; 基于所述语义相似度、 所述拼音相似度和所述字形相似度, 确定所述第一文本和所述 第二文本的相似度。 2.根据权利要求1所述的短文本相似度计算方法, 其特征在于, 所述确定所述第 一文本 和所述第二文本中字词的语义相似度, 包括, 基于字词拆解所述第一文本和所述第二文本, 得到第一拆解文本和第二拆解文本; 分别获取 所述第一拆解文本和所述第二拆解文本中每 个字词的语义信息; 基于所述语义信息, 确定所述第一文本和所述第二文本中字词的语义是否相似。 3.根据权利要求1所述的短文本相似度计算方法, 其特征在于, 所述确定所述第 一文本 和所述第二文本中字词的拼音相似度, 包括, 获取所述第一文本和所述第二文本的拼音; 分别将所述第 一文本和所述第 二文本中字词的拼音进行比对, 基于比对结果确定所述 第一文本和所述第二文本中字词的原 始拼音是否相似。 4.根据权利要求1所述的短文本相似度计算方法, 其特征在于, 所述确定所述第 一文本 和所述第二文本中字词的拼音相似度, 包括, 获取所述第一文本和所述第二文本中每 个字的拼音; 分别获取每 个拼音中每种发音的近音信息; 基于所述近音信息, 确定所述第一文本和所述第二文本中字词的联想拼音是否相似。 5.根据权利要求1所述的短文本相似度计算方法, 其特征在于, 所述确定所述第 一文本 和所述第二文本中字词的拼音相似度, 包括, 将所述第一文本和所述第二文本进行拆解, 得到每 个字的部首和子 字; 分别获取 所述子字的拼音, 得到第一文本拆解 拼音和第二文本拆解 拼音; 分别将所述第 一文本拆解拼音和所述第 二文本拆解拼音中的拼音进行比对, 基于比对 结果确定所述第一文本和所述第二文本中字词的联想拼音是否相似。 6.根据权利要求1所述的短文本相似度计算方法, 其特征在于, 所述确定所述第 一文本 和所述第二文本中字词的字形相似度, 包括, 将所述第一文本和所述第 二文本进行拆解, 得到至少包括每个字的子字的第 三拆解文 本和第四拆解文本; 分别将所述第 三拆解文本和所述第四拆解文本 中的字符进行比对, 基于比对结果确定 所述第一文本和所述第二文本中字的字形 是否相似。 7.根据权利要求1所述的短文本相似度计算方法, 其特征在于, 所述第 一文本和所述第 二文本中字符的形式至少包括中文、 拼音、 外文和/或表情中的多种。 8.根据权利要求1所述的短文本相似度计算方法, 其特征在于, 所述确定所述第 一文本 和所述第二文本的相似度, 包括,权 利 要 求 书 1/2 页 2 CN 115099214 A 2基于所述语义相似度、 所述拼音相似度和所述字形相似度, 确定所述第一文本和所述 第二文本中的字词是否为相同字符; 基于所述第 一文本和所述第 二文本中相同字符的个数、 所述第 一文本中字符的总数和 所述第二文本中字符的总数, 确定所述第一文本和所述第二文本的相似度。 9.一种短文本相似度计算系统, 其特 征在于, 包括, 获取模块, 用于获取第一文本和第二文本; 语义相似度确定模块, 用于确定所述第一文本和所述第二文本中字词的语义相似度; 拼音相似度确定模块, 用于确定所述第一文本和所述第二文本中字词的拼音相似度; 其中, 所述 拼音相似度至少包括原 始拼音相似度和联想拼音相似度; 字形相似度确定模块, 用于确定所述第一文本和所述第二文本中字词的字形相似度; 文本相似度确定模块, 用于基于所述语义相似度、 所述拼音相似度和所述字形相似度, 确定所述第一文本和所述第二文本的相似度。 10.一种计算机可读存储介质, 其特征在于, 所述存储介质存储计算机指令, 所述计算 机指令被处理器执行时, 实现如权利要求 1至8中任一项所述的短文本相似度计算方法对应 的操作。权 利 要 求 书 2/2 页 3 CN 115099214 A 3

.PDF文档 专利 一种短文本相似度计算方法、系统及存储介质

文档预览
中文文档 11 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共11页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种短文本相似度计算方法、系统及存储介质 第 1 页 专利 一种短文本相似度计算方法、系统及存储介质 第 2 页 专利 一种短文本相似度计算方法、系统及存储介质 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 10:55:58上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。