(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111649127.2 (22)申请日 2021.12.2 9 (71)申请人 中国建设银行股份有限公司 地址 100033 北京市西城区金融大街25号 (72)发明人 鄢秋霞　李昱　张圳　李斌　 安飞飞　 (74)专利代理 机构 北京同立钧成知识产权代理 有限公司 1 1205 代理人 刘丹　黄健 (51)Int.Cl. G06K 9/62(2022.01) G06F 40/30(2020.01) G06F 40/284(2020.01) G06F 17/16(2006.01) (54)发明名称 文本去重方法、 装置、 设备及 介质 (57)摘要 本申请提供一种文本去重方法、 装置、 设备 及介质， 涉及自然语言处理技术领域， 通过获取 预设文本库中每一文本的文本特征； 根据每一文 本的文本特征， 确定每一文本的特征向量， 并根 据每一文本的特征向量生成预设文本库中文本 之间的特征矩阵； 根据特征矩阵， 确定预设文本 库中文本之间的相似度信息， 根据相似度信息， 在预设文本库中筛选出与每一文本相似的第一 预设数量的文本； 根据第二预设数量的文本的相 似度信息以及第三预设数量的文本的相似度信 息的关系， 确定并去除预设文本库中的待去重文 本。 采用本技术方案， 能够在数据量较大、 CPU资 源有限的情况下， 提高重复的数据信息的计算效 率且准确地删除重复的文本 。 权利要求书2页 说明书15页 附图3页 CN 114298227 A 2022.04.08 CN 114298227 A 1.一种文本去重方法， 其特 征在于， 所述方法包括： 获取预设文本库中每一文本的文本特 征； 根据所述每一文本的文本特征， 确定所述每一文本的特征向量， 并根据所述每一文本 的特征向量生成所述预设文本库中文本之间的特 征矩阵； 根据所述特征矩阵， 确定所述预设文本库中文本之间的相似度信息， 根据所述相似度 信息， 在所述预设文本库中筛 选出与每一文本相似的第一预设数量的文本； 根据第二预设数量的文本的相似度信息以及第三预设数量的文本的相似度信息的关 系， 确定并去除所述预设文本库中的待去重文本； 其中， 所述第二预设数量与所述第三预设 数量的总和等于所述第一预设数量。 2.根据权利要求1所述的方法， 其特征在于， 根据第 二预设数量的文本的相似度信 息以 及第三预设数量的文本的相似度信息的关系， 确定并去除所述预设文本库中的待去重文 本， 包括： 根据所述第二预设数量的文本的相似度信息确定每一文本的相似文本列表； 若所述第三预设数量的文本的相似度信息小于所述第二预设数量的文本的相似度信 息， 则将所述相似文本列表中的文本作为所述预设文本库中的待去重文本， 并去除所述预 设文本库中的待 去重文本 。 3.根据权利要求2所述的方法， 其特 征在于， 所述方法还 包括： 若所述第三预设数量的文本的相似度信息不小于所述第二预设数量的文本的相似度 信息， 则重新计算所述第三预设数量的文本的相似度信息； 若重新计算的所述第三预设数量的文本的相似度信息大于所述第二预设数量的文本 的相似度信息， 则更新所述相似文本列表中的文本， 并将更新后的所述相似文本列表中的 文本作为所述预设文本库中的待 去重文本， 并去除所述预设文本库中的待 去重文本 。 4.根据权利要求1所述的方法， 其特征在于， 根据所述特征矩阵， 确定所述预设文本库 中文本之间的相似度信息， 包括： 根据所述特征矩阵， 确定所述预设文本库中文本之间的子特征矩阵， 并根据所述文本 之间的子特征矩阵确定所述文本之间的相似度信息； 其中， 所述子特征矩阵的数量为至少 两个。 5.根据权利要求4所述的方法， 其特征在于， 根据所述特征矩阵， 确定所述预设文本库 中文本之间的子特 征矩阵， 包括： 根据所述特 征矩阵， 确定所述特 征矩阵的转置矩阵； 根据所述特 征矩阵， 确定所述特 征矩阵的子特 征矩阵； 根据所述特 征矩阵的转置矩阵， 确定所述特 征矩阵的转置矩阵的子特 征矩阵； 将所述特征矩阵的子特征矩阵和所述特征矩阵的转置矩阵的子特征矩阵作为所述预 设文本库中文本之间的子特 征矩阵。 6.根据权利要求4所述的方法， 其特征在于， 根据 所述文本之间的子特征矩阵确定所述 文本之间的相似度信息， 包括： 根据所述特征矩阵的每一文本的每一子特征矩阵和所述特征矩阵的转置矩阵的每一 文本的每一子特 征矩阵确定 两者之间的第一 余弦相似度信息； 根据所述第一 余弦相似度信息确定所述特 征矩阵之间的第二 余弦相似度信息；权　利　要　求　书 1/2 页 2 CN 114298227 A 2根据所述第二 余弦相似度信息确定所述文本之间的相似度信息 。 7.根据权利要求1所述的方法， 其特征在于， 所述文本特征包括文本内容和文本标签， 所述文本标签表征文本的特征属性； 若所述文本特征为文本内容， 根据所述每一文本的文 本特征， 确定所述每一文本的特 征向量， 包括： 获取所述每一文本的文本内容中的词语信息； 根据所述词语信 息， 确定所述词语信 息的词向量； 其中， 所述词向量表征所述词语信 息 的语义信息； 根据所述词向量， 确定所述每一文本的中心向量， 将所述每一文本的中心向量作为所 述每一文本的特 征向量。 8.根据权利要求1所述的方法， 其特征在于， 所述文本特征包括文本内容和文本标签， 所述文本标签表征文本的特征属性； 若所述文本特征为文本标签， 根据所述每一文本的文 本特征， 确定所述每一文本的特 征向量， 包括： 获取所述每一文本的文本标签中的频度信息和类别 信息； 根据所述频度信息和所述类别信息， 确定所述每一文本的标签向量， 将所述每一文本 的标签向量作为所述每一文本的特 征向量。 9.一种文本去重装置， 其特 征在于， 所述装置包括： 获取单元， 用于获取 预设文本库中每一文本的文本特 征； 特征矩阵生成单元， 用于根据所述每一文本的文本特征， 确定所述每一文本的特征向 量， 并根据所述每一文本的特 征向量生成所述预设文本库中文本之间的特 征矩阵； 筛选单元， 用于根据 所述特征矩阵， 确定所述预设文本库中文本之间的相似度信 息， 根 据所述相似度信息， 在所述预设文本库中筛 选出与每一文本相似的第一预设数量的文本； 待去重文本确定单元， 用于根据第 二预设数量的文本的相似度信 息以及第 三预设数量 的文本的相似度信息的关系， 确定并去除所述预设文本库中的待去重文本； 其中， 所述第二 预设数量与所述第三预设数量的总和等于所述第一预设数量。 10.一种电子设备， 其特 征在于， 包括： 处 理器， 以及与所述处 理器通信连接的存 储器； 所述存储器存储计算机执 行指令； 所述处理器执行所述存储器存储的计算机执行指令， 以实现如权利要求1 ‑8中任一项 所述的方法。 11.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中存储有计算机 执行指令， 所述计算机执行指令被处理器执行时用于实现如权利要求1 ‑8中任一项所述的 方法。 12.一种计算机程序产品， 其特征在于， 包括计算机程序， 该计算机程序被处理器执行 时实现如权利要求1 ‑8中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114298227 A 3