(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111170651.1 (22)申请日 2021.10.08 (71)申请人 中电积至 （海南） 信息技 术有限公司 地址 571924 海南省海口市澄迈县老城高 新技术产业示范区海南生态软件园 A09幢三层3 01 (72)发明人 郑超　黄园园　张智勇　孙彦斌　 田志宏　 (74)专利代理 机构 重庆百润洪知识产权代理有 限公司 5 0219 代理人 陈付玉 (51)Int.Cl. G06F 16/951(2019.01) G06F 40/216(2020.01) G06F 40/289(2020.01)G06K 9/62(2022.01) G06N 20/00(2019.01) G06Q 40/02(2012.01) G06V 10/762(2022.01) (54)发明名称 基于预训练语言结合深度学习模型的金融 事件抽取方法 (57)摘要 本发明提供基于预训练语言结合深度学习 模型的金融事件抽取方法。 所述基于预训练语言 结合深度学习模 型的金融事件抽取方法， 包括以 下操作步骤： S1、 数据获取和预处理： 使用网络爬 虫爬取公开金融事件文本语料， 对原始金融事件 文本语料进行文本预处理。 本发 明提供基于预训 练语言结合深度学习模型的金融事件抽取方法， 通过使用机器学习结合领域知识的方式， 定义金 融领域事件类型以及模板， 大大减少了人工定义 事件的时间成本和劳动成本； 通过使用远程监督 学习的方式， 实现金融领域事件语料数据的大规 模自动标注， 并使用启发式剪枝的方法有效地减 少了数据噪音， 填补了目前金融事件抽取领域缺 少大规模语料 数据的空白。 权利要求书2页 说明书6页 附图2页 CN 113934909 A 2022.01.14 CN 113934909 A 1.基于预训练语言结合深度学习模型的金融事件抽取方法， 其特征在于， 包括以下操 作步骤： S1、 数据获取和预处 理： 使用网络爬虫爬取公开金融事件文本语料， 对原始金融事件文本语料进行文本预处 理， 获得可用的初级金融事 件文本语料 数据； S2、 定义金融事 件模板： 对金融领域中出现的高频词组、 关键名词进行聚类处理， 根据聚类结果将距离相近的 近似词， 参 考相关领域知识定义金融事 件以及建立金融事 件类型模板； S3、 远程监督结合模板方法的数据自动标注及降噪处 理： 利用规则或模式的方法从半结构化的初级金融事件文本语料数据中获取种子金融事 件， 构建原始金融事件数据库； 获取关键事件元素角色， 构建动词、 名词触发词集； 利用近义 词表对触发词集进行拓展； 利用远程监督学习 结合模板的方式进行语料数据自动标注， 然 后对生成的数据进行启发式标签剪枝来消除远程监督产生的噪声数据并将处理好的数据 加入事件数据库中； S4、 使用预训练语言模型结合深度学习 模型来对爬取的文本内容进行金融事件的抽取 识别任务。 2.根据权利要求1所述的基于预训练语言结合深度学习模型的金融事件抽取方法， 其 特征在于， 在所述S1中， 对原始金融事件文本语料进行文本预处理包括： 依次进行分句、 分 词、 去噪、 替换。 3.根据权利要求1所述的基于预训练语言结合深度学习模型的金融事件抽取方法， 其 特征在于， 在所述S1中， 获取 可用的金融事 件文本语料 数据的具体步骤为： S11、 使用爬虫从金融新闻网站爬取公开的金融事 件文本数据； S12、 对获取的部分金融事件文本数据按照事件类型进行整理， 将金融事件文本数据的 标点符号统一为中文格式， 按照包括的中文标点断句符号对文书数据切分为句 子形式， 构 成句子集 合； S13、 使用自然语言处 理工具对句子集 合中的每 个句子进行分词处 理； S14、 构建金融领域停用词表， 结合 通用领域停用词表， 去除停用词。 4.根据权利要求1所述的基于预训练语言结合深度学习模型的金融事件抽取方法， 其 特征在于， 在所述 步骤S2中， 定义金融事 件模板的具体步骤为： S21、 基于步骤S14的分词结果， 使用开源词性标注工具对词语进行词性标注， 使用TF ‑ IDF算法获取最能代 表句子的N个关键词； S22、 基于步骤S14的分词结果， 使用word2vec模型获取金融事件文本中词对应 的词向 量； S23、 基于步骤S2 2提取出的S21中关键词进行基于语义距离的k ‑means聚类； S24、 基于步骤S23的聚类结果集合， 结合人工经验和金融领域的专业知识总结金融领 域的事件类型和模板， 事 件模板包括触发词和事 件元素。 5.根据权利要求4所述的基于预训练语言结合深度学习模型的金融事件抽取方法， 其 特征在于， 在所述步骤S2 4中， 后续对于新增金融事件文本语料数据使用增量聚类的方式对 关键词集 合进行拓展， 或者同时可能新增事 件类型以及模板 。权　利　要　求　书 1/2 页 2 CN 113934909 A 26.根据权利要求1所述的基于预训练语言结合深度学习模型的金融事件抽取方法， 其 特征在于， 在所述步骤S3中， 远程监督结合模板方法的数据自动标注及降噪处理包括以下 步骤： S31、 利用规则或模式的方法从半结构化的初级金融事件文本语料数据中获取种子金 融事件， 构建原 始金融事 件数据库； S32、 获取关键事 件元素角色， 构建动词、 名词触发词集； S33、 利用近义词表对触发词集进行拓展； S34、 利用远程 监督学习结合模板的方式进行语料 数据自动标注； S35、 对生成的数据进行启发式标签剪枝来消除远程监督产生的噪声数据并将处理好 的数据加入 事件数据库中。 7.根据权利要求6所述的基于预训练语言结合深度学习模型的金融事件抽取方法， 其 特征在于， 在所述 步骤S35中， 对生成的数据进行启发式标签剪枝具有以下 方法： a、 同层次剪枝： 若一个样本的标签类型为： A/B、 A/C， 则剪枝为A(说明： 此处的B和C为同 级标签类型)； b、 粗粒度剪枝： 设置少量粗粒度类型标签， 训练一个分类器， 删除在该类型集上输出不 一致的样本； c、 低频剪枝： 当前类型 标签出现次数少于某一阈值， 则剪枝。 8.根据权利要求1所述的基于预训练语言结合深度学习模型的金融事件抽取方法， 其 特征在于， 在所述S4中， 使用预训练语言模型结合深度学习模型来对爬取的文本内容进行 金融事件的抽取识别任务包括以下步骤： S41、 编码阶段， 使用预训练模型进行词向量嵌入， 在完成编码之后， 用双向的LSTM 网络 和CNN卷积神经网络进一 步提取向量特 征； S41、 预测阶段， 使用双向LSTM网络抽 取出的全局向量特征和CNN提取出的局部向量特 征联合后进行 预测。 9.根据权利要求1所述的基于预训练语言结合深度学习模型的金融事件抽取方法， 其 特征在于， 还包括用于完成金融事件抽取 的运行系统， 所述运行系统包括用于获取公开金 融事件文本语料的数据获取模块、 用于对原始金融事件文本语料进行文本预处理的数据处 理模块、 用于从半结构化的初级 金融事件文本语料数据中获取种子金融事件的种子金融事 件获取模块、 用于定义金融事件以及建立金融事件类型模板的金融事件模板建立模块、 用 于进行语料数据自动标注的远程监督学习模块、 用于完成爬取的文本内容进 行金融事件的 抽取识别任务的金融事 件抽取模块、 原 始金融事 件数据库以及金融事 件数据库。 10.根据权利要求9所述的基于预训练语言结合深度学习 模型的金融事件抽取方法， 其 特征在于， 所述数据获取模块与所述数据 处理模块信号连接， 所述数据 处理模块分别与所 述种子金融事件获取模块以及金融事件模板建立模块信号连接， 所述种子金融事件获取模 块与所述原始金融事件数据库信号连接， 所述金融事件数据库分别与所述金融事件模板建 立模块、 所述远程 监督学习模块以及所述金融事 件抽取模块信号连接 。权　利　要　求　书 2/2 页 3 CN 113934909 A 3