(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210731087.4 (22)申请日 2022.06.24 (71)申请人 平安银行股份有限公司 地址 518000 广东省深圳市罗湖区深南 东 路5047号 (72)发明人 李珊　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 梁韬 (51)Int.Cl. G06F 16/31(2019.01) G06F 16/335(2019.01) G06F 16/34(2019.01) G06F 16/36(2019.01) G06Q 40/02(2012.01) (54)发明名称 资讯去重方法、 装置、 电子设备及计算机可 读取存储介质 (57)摘要 本申请提供一种资讯去重方法、 装置、 电子 设备及计算机可读取存储介质， 涉及数据处理技 术领域。 该方法包括： 对资讯文本进行处理， 得到 当前文本向量； 对当前文本向量进行验证， 若对 当前文本向量验证通过， 将当前文本向量作为目 标文本向量； 若对当前文本向量验证未通过， 则 对当前文本向量进行更新， 以得到目标文本向 量； 基于去重阈值对目标文本向量去重， 得到目 标资讯文本。 本申请能够通过对推荐的资讯文本 进行处理、 验证、 更新等方式， 将得到的目标文本 向量进行去重， 从而 得到去重后用于推荐给用户 的目标资讯文本， 能够对体量较长、 维度较广、 多 种不同环 境下的资讯文本都进行去重， 有效地减 少推荐的资讯中重复、 冗余的内容， 提高了去重 的精度。 权利要求书2页 说明书14页 附图6页 CN 115098619 A 2022.09.23 CN 115098619 A 1.一种资 讯去重方法， 其特 征在于， 所述方法包括： 对资讯文本进行处 理， 得到当前文本向量； 对所述当前文本向量进行验证， 若对所述当前文本向量验证通过， 将所述当前文本向 量作为目标文本向量； 若对所述当前文本向量验证未通过， 则对所述当前文本向量进行更新， 以得到目标文 本向量； 基于去重阈值对所述目标文本向量去重， 得到目标资 讯文本。 2.根据权利要求1所述的方法， 其特征在于， 所述对资讯文本进行处理， 得到当前文本 向量， 包括： 根据文本处 理模型对资 讯文本进行处 理， 得到所述当前文本向量； 所述对所述当前文本向量进行 更新， 以得到目标文本向量， 包括： 对所述文本处 理模型进行 更新， 确定更新处 理模型； 根据所述更新处 理模型对所述当前文本向量进行 更新， 以得到所述目标文本向量。 3.根据权利要求2所述的方法， 其特征在于， 所述文本处理模型包括摘要模型、 对比模 型和降维模型； 所述根据文本处理模型对资讯文本进行处理， 得到所述当前文本向量， 包 括： 根据所述摘要模型对资 讯文本进行提取， 得到文本摘要； 根据所述对比模型对所述文本摘要 进行向量 提取， 得到初始向量； 根据所述降维模型对所述初始向量进行降维， 得到所述当前文本向量。 4.根据权利要求3所述的方法， 其特征在于， 所述根据所述对比模型对所述文本摘要进 行向量提取， 得到初始向量之前， 所述方法还 包括： 获取资讯文本训练集， 其中， 所述资讯文本训练集中包括多条历史资讯文本的语料文 本； 根据资讯文本训练集对所述对比模型进行对比训练。 5.根据权利要求3所述的方法， 其特征在于， 所述对所述文本处理模型进行更新， 确定 更新处理模型， 包括： 根据所述当前文本向量对所述对比模型的第 一模型参数进行调整， 得到第 一调整模型 参数； 根据所述第 一调整模型参数对应的所述对比模型、 所述摘要模型和所述降维模型对所 述资讯文本进行处 理， 得到第一调整 文本向量； 基于所述第 一调整文本向量对所述摘要模型的第 二模型参数进行调 整， 得到第 二调整 模型参数； 根据所述第 一调整模型参数对应的所述对比模型、 所述第 二调整模型参数对应的所述 摘要模型和所述降维模型对所述资 讯文本进行处 理， 得到第二调整 文本向量； 基于所述第 二调整文本向量对所述降维模型的第 三模型参数进行调 整， 得到第 三调整 模型参数， 以所述第一调整模型参数对应的所述对比模型、 所述第二调整模型参数对应的 所述摘要模型和所述第三调整模型参数对应的所述降维模型作为所述更新处 理模型。 6.根据权利要求5所述的方法， 其特征在于， 所述根据所述更新处理模型对所述当前文 本向量进行 更新， 以得到所述目标文本向量， 包括：权　利　要　求　书 1/2 页 2 CN 115098619 A 2根据所述第 一调整模型参数对应的所述对比模型、 所述第 二调整模型参数对应的所述 摘要模型和所述第三调整模型参数对应的所述降维模型对所述资讯文本进 行处理， 得到第 三调整文本向量； 对所述第三调整文本向量进行验证， 在对当前的所述第三调整文本向量验证通过时， 将当前的所述第三调整 文本向量作为所述目标文本向量。 7.根据权利要求1所述的方法， 其特 征在于， 所述对所述当前文本向量进行验证， 包括： 基于资讯文本验证集判断所述当前文本向量是否满足预设的去重条件； 在所述当前文本向量满足所述去重条件时， 则对所述当前文本向量验证通过； 在所述当前文本向量 不满足所述去重条件时， 则对所述当前文本向量验证未通过。 8.根据权利要求7所述的方法， 其特征在于， 所述资讯文本中包括多条语义标签； 所述 基于资讯文本验证集判断所述当前文本向量是否满足预设的去重条件， 包括： 获取所述资讯文本验证集， 其中， 所述资 讯文本验证集中包括多条历史文本向量； 计算所述历史文本向量与所述当前文本向量之间的相似度； 确定所述相似度与所述语义标签之间的相关值； 基于所述相关值判断所述当前文本向量是否满足预设的所述去重条件。 9.根据权利要求8所述的方法， 其特征在于， 所述基于去重阈值对所述目标文本向量去 重， 得到目标资 讯文本之前， 所述方法还 包括： 获取所述资讯文本验证集中多条历史文本向量的判断标签， 其中， 所述判断标签表示 对应的所述历史文本向量中的内容是否 重复； 根据所述判断标签和所述语义标签， 确定所述去重阈值。 10.根据权利要求1所述的方法， 其特征在于， 所述对资讯文本进行处理， 得到当前文本 向量之前， 所述方法还 包括： 根据所述资 讯文本中金融产品的类型确定对应的语义标签； 根据所述语义标签对所述资 讯文本中对应的所述金融产品的名称进行 标注。 11.一种资 讯去重装置， 其特 征在于， 所述装置包括： 处理模块， 用于对资 讯文本进行处 理， 得到当前文本向量； 验证模块， 用于对所述当前文本向量进行验证； 若对所述当前文本向量验证通过， 所述验证模块， 还用于将所述当前文本向量作为目 标文本向量； 若对所述当前文本向量验证未通过， 更新模块， 用于对所述当前文本向量进行更新， 以 得到目标文本向量； 去重模块， 用于基于去重阈值对所述目标文本向量去重， 得到目标资 讯文本。 12.一种电子设备， 其特征在于， 所述电子设备包括存储器和 处理器， 所述存储器中存 储有程序指令， 所述处理器运行所述程序指令时， 执行权利要求1 ‑10中任一项所述方法中 的步骤。 13.一种计算机可读取存储介质， 其特征在于， 所述可读取存储介质中存储有计算机程 序指令， 所述计算机程序指令被一处理器运行时， 执行权利要求1 ‑10任一项所述方法中的 步骤。权　利　要　求　书 2/2 页 3 CN 115098619 A 3