(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210650047.7 (22)申请日 2022.06.09 (71)申请人 广西力意智能科技有限公司 地址 530200 广西壮 族自治区南宁市金 龙 路2号南宁万科大厦C座第二层202号 房屋 (72)发明人 韦中普　 (51)Int.Cl. G06F 16/35(2019.01) G06F 40/216(2020.01) G06F 40/253(2020.01) G06F 40/289(2020.01) G06F 40/30(2020.01) G06K 9/62(2022.01) G06N 3/04(2006.01) (54)发明名称 文档分类方法、 装置、 设备和存 储介质 (57)摘要 本发明公开了一种文档分类方法、 装置、 设 备和存储介质， 所述文档分类方法包括： 抽取待 分类文档自身的关键词， 形成关键词知识库， 再 通过改进后的Bert模型获取待分类文档的词嵌 入向量和所述关键词知 识库的词嵌入向量； 然后 将待分类文档的词嵌入向量和所述关键词知识 库的词嵌入向量通过注意力机制融合， 增强待分 类文档和关键词知识库的相关性， 为文档分类器 提供更加有效特征信息， 减少无效信息的干扰， 提高长文档分类的准确性。 权利要求书2页 说明书8页 附图2页 CN 115048515 A 2022.09.13 CN 115048515 A 1.一种文档分类方法， 其特 征在于， 包括如下步骤： 提取待分类文档的关键词， 构建 关键词知识库； 获取待分类文档的词嵌入向量和所述关键词知识库的词嵌入向量； 将待分类文档的词嵌入向量和所述关键词知识库的词嵌入向量通过注意力 机制融合， 得到融合向量； 将所述融合向量作为全连接层的输入， 从全连接层的输出得到待分类文档的分类结 果。 2.根据权利要求1所述的文档分类方法， 其特征在于， 构建关键词知识库具体包括如下 步骤： 对待分类文档进行 预处理； 通过第一B ert模型提取预处理后的待分类文档的文档向量， 所述第一B ert模型为已完 成预训练的Ber t模型， 其预训练过程包括MLM和NS P两个训练任务； 使用N元语法模型从所述文档向量中提取候选关键词的词向量； 计算候选关键词的词向量与文档向量之间的相似度， 根据 所述相似度确定待分类文档 的关键词， 形成关键词知识库。 3.根据权利要求2所述的文档分类方法， 其特征在于， 通过计算候选关键词的词向量与 文档向量之间余弦值确定候选关键词与待分类文档之间的相似度。 4.根据权利要求1所述的文档分类方法， 其特征在于， 通过第 二Bert模型获取待分类文 档的词嵌入向量和所述关键词知识库的词嵌入向量， 所述第二Bert模 型为已完成预训练的 Bert模型， 其预训练过程 不包括NSP训练任务。 5.根据权利要求1所述的文档分类方法， 其特征在于， 所述注意力 机制为多头注意力 机 制。 6.一种文档分类装置， 其特 征在于， 包括： 关键词生成模块， 用于提取待分类文档的关键词， 构建 关键词知识库； 词嵌入模块， 用于获取待分类文档的词嵌入向量和所述关键词知识库的词嵌入向量； 融合模块， 用于将待分类文档的词嵌入向量和所述关键词知识库的词嵌入向量通过注 意力机制融合， 获得融合向量； 全连接层， 用于通过 所述融合向量获取待分类文档的分类结果。 7.根据权利要求6所述的文档分类装置， 其特 征在于， 所述关键词生成模块包括： 文档嵌入模块， 用于提取预处理后的待分类文档的文档向量， 所述文档嵌入模块包括 已完成预训练的第一Bert模 型， 所述第一Bert模 型的预训练过程包括MLM训练任务和NSP训 练任务； 候选关键词生成模块， 所述候选关键词生成模块包括N元语法模型， 用于从所述文档向 量中提取候选关键词的词向量； 关键词选取模块， 用于计算候选关键词的词向量与文档向量之间的余弦相似度， 根据 所述余弦相似度确定待分类文档的关键词。 8.根据权利要求6所述的文档分类装置， 其特征在于， 所述词嵌入模块包括已完成预训 练的第二Bert模 型， 所述第二Bert模 型的预训练过程包括MLM训练任务但 不包括NSP训练任 务， 其MLM训练任务采用动态掩码方式。权　利　要　求　书 1/2 页 2 CN 115048515 A 29.一种文档分类设备， 其特征在于， 所述文档分类设备包括： 存储器和至少一个处理 器， 所述存储器中存储有计算机程序； 所述至少一个处理器调用所述存储器中的所述计算 机程序， 以使得 所述文档分类设备 执行如权利要求1 ‑5中任意一项所述的文档分类方法。 10.一种计算机可读存储介质， 所述计算机可读存储介质上存储有计算机程序， 其特征 在于， 所述计算机程序被处 理器执行时实现如权利要求1 ‑5中任一项所述文档分类方法。权　利　要　求　书 2/2 页 3 CN 115048515 A 3