(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210587941.4 (22)申请日 2022.05.27 (71)申请人 安天科技 集团股份有限公司 地址 150028 黑龙江省哈尔滨市高新 技术 产业开发区科技创新城创新创业广场 7号楼 （世坤路838号） (72)发明人 张芊　卢鹏　肖新光　 (74)专利代理 机构 北京格允知识产权代理有限 公司 11609 专利代理师 王文雅 (51)Int.Cl. G06F 40/284(2020.01) G06F 40/289(2020.01) G06F 40/30(2020.01) G06F 16/215(2019.01)G06F 16/35(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 文本主题分析方法、 装置、 电子设备及存储 介质 (57)摘要 本发明提供了一种文本主题分析方法、 装 置、 电子设备及存储介质， 其中方法包括： 确定所 需实现的若干个分析主题以及对应的分析结果 标签范围； 获取包含多个样本文本的训练样本 集； 每一个样本文本可对应至少一个分析主题； 确定每一个样本文本在对应分析主题上的分析 结果标签； 该分析结果标签位于对应 分析主题的 分析结果标签范围内； 将每一个样 本文本及对应 分析主题分别作为输入， 分析结果标签作为输 出， 对XLM ‑RoBERTa网络进行训练， 得到XLM ‑ RoBERTa模型； 将待评估文本和目标分析主题输 入至XLM‑RoBERTa模型中， 得到XLM ‑RoBERTa模型 输出的目标分析结果标签。 本方案， 能够按照不 同需求对文本进行主题分析， 从而可以提高主题 分析的灵活性。 权利要求书2页 说明书11页 附图2页 CN 114896970 A 2022.08.12 CN 114896970 A 1.一种文本主题分析 方法， 其特 征在于， 包括： 确定所需实现的若干个分析主题以及每一个分析主题对应的分析结果标签范围； 所述 分析结果标签范围包括多个分析 结果标签； 获取包含多个样本文本的训练样本集； 每一个样本文本可对应至少一个分析主题； 确定每一个样本文本在对应分析主题上的分析结果标签； 该分析结果标签位于对应分 析主题的分析 结果标签范围内； 将所述训练样本集中的每一个样本文本及对应分析主题分别作为输入， 将与输入的样 本文本在输入的分析主题上的分析结果标签作为输出， 对预先构建好的XLM ‑RoBERTa网络 进行训练， 得到训练完成的XLM ‑RoBERTa模型； 将待评估文本和目标分析主题输入至所述XLM ‑RoBERTa模型中， 得到所述XLM ‑RoBERTa 模型输出的目标分析 结果标签。 2.根据权利要求1所述的方法， 其特征在于， 所述训练样本集中的样本文本从如下至少 一个数据集中获得： BookCorpus数据集、 维基百科英文数据集、 CC ‑NEWS数据集、 openwebtext数据集和stories数据集。 3.根据权利要求1或2所述的方法， 其特征在于， 所述样本文本中语料所使用语种的数 量为至少一个。 4.根据权利要求1所述的方法， 其特征在于， 所述对预先构建好的XLM ‑RoBERTa网络进 行训练， 包括： 利用所述XLM ‑RoBERTa网络对输入的样本文本进行文本清洗， 将文本清洗后的样本文 本进行分词， 并根据分词结果将分词后的样本文本编码成张量； 并利用编 码得到的张量、 输 入的分析主题和对应的分析结果标签对该样本文本进行特征学习， 以对所述XLM ‑RoBERTa 网络中的参数进行调整。 5.根据权利要求4所述的方法， 其特征在于， 在所述根据分词结果将分词后的样本文本 编码成张量之前， 还 包括： 为每一个词语标注词性标签， 并根据每一个词语标注的词性标签将对文本特征无贡献 的词语删除， 以利用剩余词语执 行所述编码成张量。 6.根据权利要求4或5所述的方法， 其特征在于， 所述利用编码得到的张量、 输入的分析 主题和对应的分析 结果标签对该样本文本进行 特征学习， 包括： 根据输入的分析主题确定各词性词语的选择比例， 并根据 所述选择比例对编码成的各 张量进行特征选择， 以将选择 的张量作为对该样本文本的学习 特征； 其中选择 的张量所对 应各词性的特 征词语的比例与所述选择比例 相同或相近 。 7.根据权利要求4或5所述的方法， 其特征在于， 在所述利用编码得到的张量、 输入的分 析主题和对应的分析 结果标签对该样本文本进行 特征学习之前， 还 包括： 对该样本文本进行动态掩码处理， 利用每一 次掩码处理后的样本文本编码 成的张量执 行对该样本文本进行 特征学习； 所述特 征学习不包括对 掩码的预测任务。 8.一种文本主题分析装置， 其特 征在于， 包括： 第一确定单元， 用于确定所需实现的若干个分析主题以及每一个分析主题对应的分析 结果标签范围； 所述分析 结果标签范围包括多个分析 结果标签； 获取单元， 用于获取包含多个样本文本的训练样本集； 每一个样本文本可对应至少一权　利　要　求　书 1/2 页 2 CN 114896970 A 2个分析主题； 第二确定单元， 用于确定每一个样本文本在对应分析主题上的分析结果标签； 该分析 结果标签位于对应分析主题的分析 结果标签范围内； 训练单元， 用于将所述训练样本集中的每一个样本文本及对应分析主题分别作为输 入， 将与输入的样本文本在输入的分析主题上 的分析结果标签作为输出， 对预先构建好的 XLM‑RoBERTa网络进行训练， 得到训练完成的XLM ‑RoBERTa模型； 分析单元， 用于将待评估文本和目标分析主题输入至所述XLM ‑RoBERTa模型中， 得到所 述XLM‑RoBERTa模型输出的目标分析 结果标签。 9.一种电子设备， 包括存储器和处理器， 所述存储器中存储有计算机程序， 所述处理器 执行所述计算机程序时， 实现如权利要求1 ‑7中任一项所述的方法。 10.一种计算机可读存储介质， 其上存储有计算机程序， 当所述计算机程序在计算机中 执行时， 令计算机执 行权利要求1 ‑7中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114896970 A 3