说明:收录全网最新的团体标准 提供单次或批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210578761.X (22)申请日 2022.05.26 (71)申请人 腾讯科技 (武汉) 有限公司 地址 430000 湖北省武汉市江夏经济开发 区庙山阳光五路特1号 (72)发明人 毛铁峥  (74)专利代理 机构 华进联合专利商标代理有限 公司 44224 专利代理师 张思佳 (51)Int.Cl. G06F 16/35(2019.01) G06F 40/30(2020.01) G06K 9/62(2022.01) G06F 40/289(2020.01) G06F 40/216(2020.01)G06N 3/02(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 文本数据处理方法、 装置、 计算机设备和存 储介质 (57)摘要 本申请涉及一种文本数据处理方法、 装置、 计算机设备、 计算机可读存储介质和计算机程序 产品。 所述方法包括: 从包括至少两个文本数据 的目标文本数据对中, 提取目标文本数据对的文 本特征; 对文本特征进行特征分类, 分别得到表 征数据间语义关系的纯净特征和表征数据间模 糊关系的公共特征; 重组纯净特征与公共特征, 获得目标文本数据对的重组特征; 基于重组特 征, 对目标文本数据对中的至少两个文本数据进 行相关性计算, 确定至少两个文本数据的相关 性。 采用本申请实施例方法, 能够提高文本数据 的处理效率。 权利要求书2页 说明书18页 附图9页 CN 115129869 A 2022.09.30 CN 115129869 A 1.一种文本数据处 理方法, 其特 征在于, 所述方法包括: 从包括至少两个文本数据的目标文本数据对中, 提取所述目标文本数据对的文本特 征; 对所述文本特征进行特征分类, 分别得到表征数据间语义关系的纯净特征和表征数据 间模糊关系的公共特 征; 重组所述纯 净特征与所述公共特 征, 获得所述目标文本数据对的重组特 征; 基于所述重组特征, 对所述目标文本数据对中的至少两个文本数据进行相关性计算, 确定所述至少两个文本数据的相关性。 2.根据权利要求1所述的方法, 其特征在于, 所述从包括至少两个文本数据的目标文本 数据对中, 提取 所述目标文本数据对的文本特 征, 包括: 从包括至少两个文本数据的目标文本数据对中, 提取出语义角色对齐的第一文本特 征、 以及嵌入有目标语义角色的第二文本特 征; 所述对所述文本特征进行特征分类, 分别得到表征数据间语义关系的纯净特征和表征 数据间模糊关系的公共特 征, 包括: 对所述第二文本特征进行梯度反转处理, 得到表征所述至少两个文本数据间模糊关系 的公共特 征; 根据所述公共特征, 对所述第一文本特征进行特征映射处理, 得到表征所述至少两个 文本数据间语义关系的纯 净特征。 3.根据权利要求2所述的方法, 其特征在于, 所述对所述第 二文本特征进行梯度反转处 理, 得到表征 所述至少两个文本数据间模糊关系的公共特 征, 包括: 在所述第二文本特征的前向传播过程中进行特征恒等变换, 并在 反向传播过程中进行 梯度方向取反, 得到所述第二文本特 征的梯度反转结果; 将所述第二文本特 征的梯度反转结果, 确定为所述目标文本数据对的公共特 征。 4.根据权利要求2所述的方法, 其特征在于, 所述根据所述公共特征, 对所述第一文本 特征进行特征映射处 理, 得到表征 所述至少两个文本数据间语义关系的纯 净特征, 包括: 将所述第一文本特征映射至所述公共特征的目标特征方向上, 获得所述第 一文本特征 所对应的映射特 征; 对所述第一文本特征与所述第 一文本特征所对应的映射特征进行特征差值计算, 得到 所述目标文本数据对的纯 净特征。 5.根据权利要求2或4所述的方法, 其特征在于, 提取出语义角色对齐的第 一文本特征, 包括: 对所述目标文本数据对进行分词处 理, 得到所述目标文本数据对的各分词; 向量化处理各所述分词, 分别获得 所述目标文本数据对的各分词特 征; 将各所述分词特征进行合并, 并对齐各所述分词所对应的语义角色, 获得所述目标文 本数据对的第一文本特 征。 6.根据权利要求2或3所述的方法, 其特征在于, 提取出嵌入有目标语义角色的第二文 本特征, 包括: 对所述目标文本数据对进行分词处 理, 得到所述目标文本数据对的各分词; 基于各所述分词对应的语义角色, 确定目标语义角色所对应的目标分词;权 利 要 求 书 1/2 页 2 CN 115129869 A 2向量化处理各所述分词, 分别获得 所述目标文本数据对的各分词特 征; 将各所述分词特征进行合并, 并嵌入所述目标分词所对应的目标分词特征, 获得所述 目标文本数据对的第二文本特 征。 7.根据权利要求1所述的方法, 其特征在于, 所述重组所述纯净特征与所述公共特征, 获得所述目标文本数据对的重组特 征, 包括: 基于所述纯净特征与所述公共特征, 通过自注意力模型, 确定所述纯净特征的纯净特 征权重、 以及所述公共特 征的公共特 征权重; 根据所述纯净特征和所述纯净特征权重、 以及所述公共特征与所述公共特征权重, 对 所述纯净特征与所述公共特 征进行加权求和, 获得 所述目标文本数据对的重组特 征。 8.根据权利要求1或7所述的方法, 其特征在于, 所述基于所述重组特征, 对所述目标文 本数据对中的至少 两个文本数据进行相关性计算, 确定所述至少 两个文本数据的相关性, 包括: 基于所述重组特征, 计算所述重组特征所对应的所述目标文本数据对中的至少两个文 本数据的相关性 概率参数; 根据所述目标文本数据对中的至少两个文本数据的相关性概率参数, 确定所述至少两 个文本数据的相关性。 9.一种文本数据处 理装置, 其特 征在于, 所述装置包括: 特征获取模块, 用于从包括至少两个文本数据的目标文本数据对中, 提取所述目标文 本数据对的文本特 征; 特征分类模块, 用于对所述文本特征进行特征分类, 分别得到表征数据间语义关系的 纯净特征和表征 数据间模糊关系的公共特 征; 特征重组模块, 用于重组所述纯净特征与所述公共特征, 获得所述目标文本数据对的 重组特征; 结果确定模块, 用于基于所述重组特征, 对所述目标文本数据对中的至少两个文本数 据进行相关性计算, 确定所述至少两个文本数据的相关性。 10.一种计算机设备, 包括存储器和 处理器, 所述存储器存储有计算机程序, 其特征在 于, 所述处 理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。 11.一种计算机可读存储介质, 其上存储有计算机程序, 其特征在于, 所述计算机程序 被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。 12.一种计算机程序产品, 包括计算机程序, 其特征在于, 该计算机程序被处理器执行 时实现权利要求1至8中任一项所述的方法的步骤。权 利 要 求 书 2/2 页 3 CN 115129869 A 3

.PDF文档 专利 文本数据处理方法、装置、计算机设备和存储介质

文档预览
中文文档 30 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共30页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 文本数据处理方法、装置、计算机设备和存储介质 第 1 页 专利 文本数据处理方法、装置、计算机设备和存储介质 第 2 页 专利 文本数据处理方法、装置、计算机设备和存储介质 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 14:13:28上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。