(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210739171.0 (22)申请日 2022.06.27 (71)申请人 招商银行股份有限公司 地址 518000 广东省深圳市福田区深南大 道7088招商银行 大厦 (72)发明人 唐程浩　 (74)专利代理 机构 深圳市世纪恒程知识产权代 理事务所 4 4287 专利代理师 冯会 (51)Int.Cl. G06K 9/62(2022.01) G06F 16/335(2019.01) G06F 40/289(2020.01) G06F 40/30(2020.01) G06F 40/284(2020.01)G06F 16/35(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 缺陷查重模型构建方法、 装置、 终端设备及 存储介质 (57)摘要 本发明公开了一种缺陷查重模 型构建方法、 装置、 终端设备及存储介质， 该方法包括： 获取缺 陷文本数据训练集； 对训练集中的原始缺陷摘要 文本数据进行关键专有名词筛选， 根据筛选结果 构建训练集的专有关键词表； 基于训练集的专有 关键词表， 以及预先训练的文本向量化模型， 对 训练集的缺陷摘要文本数据进行加权向量化， 得 到缺陷文本数据词向量； 基于缺陷文本数据词向 量以及原始缺陷摘要文本数据进行模型训练和 融合， 构建得到缺陷查重模型。 由此通过构建缺 陷查重模型进行缺陷查重， 可以节省人工手动查 重的时间； 且本方案对缺陷文本进行信息提取和 模型训练， 可以对短文本提炼语义信息并进行有 效查重， 提升了缺陷查重的效率和查重的有效 性。 权利要求书2页 说明书12页 附图2页 CN 114997330 A 2022.09.02 CN 114997330 A 1.一种缺陷查重模型构建方法， 其特 征在于， 所述方法包括如下步骤： 获取缺陷文本数据训练集， 所述训练集包括原 始缺陷摘要 文本数据； 对所述训练集中的原始缺陷摘要文本数据进行关键专有名词筛选， 根据筛选结果构建 所述训练集的专有关键词表； 基于所述训练集的专有关键词表， 以及预先训练的文本向量化模型， 对所述训练集的 缺陷摘要 文本数据进行加权向量 化， 得到缺陷文本数据词向量； 基于所述缺陷文本数据词向量以及所述原始缺陷摘要文本数据进行模型训练和融合， 构建得到所述 缺陷查重模型。 2.根据权利要求1所述的方法， 其特征在于， 所述对所述训练集中的原始缺陷摘要文本 数据进行关键专有名词筛 选， 根据筛 选结果构建所述训练集的专有关键词表的步骤 包括： 采用左右信息熵新词发现算法对所述训练集中的原始缺陷摘要文本数据进行新词发 现计算， 筛 选出所述原始缺陷摘要 文本数据中的专有名词； 使用TFIDF算法计算所述原 始缺陷摘要 文本数据中的关键词； 基于所述原始缺陷摘要文本数据中的专有名词和关键词， 构建所述训练集的专有关键 词表。 3.根据权利要求1所述的方法， 其特征在于， 所述基于所述缺陷文本数据词向量以及所 述原始缺陷摘要 文本数据进行模型训练和融合， 构建得到所述 缺陷查重模型的步骤 包括： 将所述缺陷文本数据词向量输入预先创建的基于注意力机制的双向LSTM模型中进行 训练， 得到第一训练结果； 将所述原始缺陷摘要文本数据输入预选创建的AlBert预训练模型进行训练， 得到第二 训练结果； 通过XGBoost算法对所述第一训练结果和第二训练结果进行融合并迭代训练， 得到所 述缺陷查重模型。 4.根据权利要求3所述的方法， 其特征在于， 所述对所述训练集中的原始缺陷摘要文本 数据进行关键专有名词筛 选的步骤之前还 包括： 对所述缺陷文本数据训练集进行 数据预处 理。 5.根据权利要求4所述的方法， 其特征在于， 所述对所述缺陷文本数据训练集进行数据 预处理的步骤 包括： 对所述缺陷文本数据训练集进行 数据增强， 得到数据增强后的训练集； 采用常见停用词对所述训练集中的原始缺陷摘要文本数据进行数据清洗， 去掉无用和 干扰信息， 得到数据清洗后的训练集。 6.根据权利要求5所述的方法， 其特征在于， 所述对所述缺陷文本数据训练集进行数据 增强， 得到数据增强后的训练集的步骤 包括： 对所述缺陷文本数据训练集中不重复的缺陷数据进行欠采样； 对所述缺陷文本数据训练集中重复的缺陷数据进行 过采样； 通过同义替换方式对所述缺陷文本数据训练集中数量低于预设阈值的缺陷数据进行 增量。 7.根据权利要求6所述的方法， 其特征在于， 所述对所述缺陷文本数据训练集中重复的 缺陷数据进行 过采样的步骤 包括：权　利　要　求　书 1/2 页 2 CN 114997330 A 2利用句子对的特性， 对所述缺陷文本数据训练集中重复的缺陷数据的句子对进行翻转 和传递生成。 8.一种缺陷查重模型构建装置， 其特 征在于， 包括： 获取模块， 用于获取缺陷文本数据训练集， 所述训练集包括原 始缺陷摘要 文本数据； 筛选构建模块， 用于对所述训练集中的原始缺陷摘要文本数据进行关键专有名词筛 选， 根据筛 选结果构建所述训练集的专有关键词表； 向量化模块， 用于基于所述训练集的专有关键词表， 以及预先训练的文本向量化模型， 对所述训练集的缺陷摘要 文本数据进行加权向量 化， 得到缺陷文本数据词向量； 构建模块， 用于基于所述缺陷文本数据词向量以及所述原始缺陷摘要文本数据进行模 型训练和融合， 构建得到所述 缺陷查重模型。 9.一种终端设备， 其特征在于， 所述终端设备包括存储器、 处理器及存储在所述存储器 上并可在所述处理器上运行的缺陷查重模型构建程序， 所述缺陷查重模型构建程序被所述 处理器执行时实现如权利要求1 ‑7中任一项所述的缺陷查重模型构建方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有缺陷查 重模型构建程序， 所述缺陷查重模型构建程序被处理器执行时实现如权利要求1 ‑7中任一 项所述的缺陷查重模型构建方法的步骤。权　利　要　求　书 2/2 页 3 CN 114997330 A 3