说明:收录全网最新的团体标准 提供单次或批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210457940.8 (22)申请日 2022.04.27 (71)申请人 浙江大华 技术股份有限公司 地址 310053 浙江省杭州市滨江区滨安路 1187号 (72)发明人 郭徽 王龙 陈立力 周明伟  (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 专利代理师 高金金 (51)Int.Cl. G06F 16/28(2019.01) G06F 40/284(2020.01) G06N 5/02(2006.01) G06F 16/36(2019.01) (54)发明名称 一种识别结构化数据实体类型的方法及装 置 (57)摘要 一种识别结构化数据实体类型的方法及装 置, 用以解决现有技术中存在的识别结构化数据 实体类型准确率不高的问题。 所述方法包括: 获 取数据库的多张数据表; 针对每张数据表内的结 构化数据, 通过计算各字段信息之间的相似度或 通过已训练的分类器模型将相似的字段映射到 一个节点编号; 所述字段信息包括字段名称和字 段描述; 将所述多张数据表中映射到相同节点编 号的字段进行聚合, 得到所述多张数据表的各字 段对应的节 点编号; 将所述多张数据表的各字段 信息和所述各字段对应的节点编号输入到已训 练的表示学习模 型中, 预测所述节 点编号对应的 实体类型, 得到所述多张数据表各字段对应的实 体类型。 权利要求书2页 说明书9页 附图4页 CN 114780649 A 2022.07.22 CN 114780649 A 1.一种识别结构化数据实体 类型的方法, 其特 征在于, 所述方法包括: 获取数据库的多张数据表; 针对每张数据表内的结构化数据, 通过计算各字段信 息之间的相似度或通过已训练 的 分类器模型将相似的字段映射到一个节点编号; 所述字段信息包括字段名称和字段描述; 将所述多 张数据表中映射到相同节点编 号的字段进行聚合, 得到所述多 张数据表的各 字段对应的节点编号; 将所述多张数据表的各字段信息和所述各字段对应的节点编号输入到已训练的表示 学习模型中, 预测所述节点编号对应的实体类型, 得到所述多张数据表各字段对应的实体 类型。 2.根据权利要求1所述的方法, 其特 征在于, 所述方法还 包括: 对于所述字段描述长的字段, 将所述字段描述进行分词处 理, 得到多个词段。 3.根据权利要求2所述的方法, 其特 征在于, 所述方法还 包括: 根据所述各字段的字段描述、 分词处理后的多个词段以及所述各字段对应的实体类型 建立词库模型。 4.根据权利要求1所述的方法, 其特征在于, 所述分类器模型通过如下方式训练: 将所 述各字段的字段描述和字段名称进行特征工程处理后, 输入到 分类器模型中对所述分类器 模型进行训练。 5.根据权利要求1所述的方法, 其特 征在于, 所述表示学习模型通过如下 方式训练: 选取训练集和 测试集; 对所述训练集和所述测试集中每张数据表各字段的实体 类型进行 标注; 将所述训练集中多 张数据表的各字段信 息、 所述各字段对应的节点编号以及标注好的 各字段的实体 类型, 输入到表示学习模型中进行训练; 使用所述测试集对训练后的表示学习模型进行评估。 6.根据权利要求1所述的方法, 其特征在于, 所述针对每张数据表内的结构化数据, 通 过计算各字段信息之间的相似度或通过已训练的分类器将相似的字段映射到一个节点编 号之前, 还 包括针对每张数据表内的结构化数据进行 预处理; 所述预处 理包括: 数据的选择、 异常数据处 理。 7.根据权利要求1 ‑6任一项所述的方法, 其特征在于, 所述使用所述测试集对所述表示 学习模型进行评估, 包括: 采用mean_ran k和hit@10作为评价指标对所述表示学习模型进行评估。 8.一种识别结构化数据实体 类型的装置, 其特 征在于, 所述方法包括: 获取模块, 用于获取 数据库的多张数据表; 处理模块, 用于针对每张数据表内的结构化数据, 通过计算各字段信息之间的相似度 或通过已训练的分类器模型将相似的字段映射到一个节点编号; 所述字段信息包括字段名 称和字段描述; 所述处理模块, 还用于将所述多张数据表中映射到相同节点编号的字段进行聚合, 得 到所述多张数据表的各字段对应的节点编号; 所述处理模块, 还用于将所述多 张数据表的各字段信 息和所述各字段对应的节点编号 输入到已训练的表示学习模型中, 预测所述节点编号对应的实体类型, 得到所述多张数据权 利 要 求 书 1/2 页 2 CN 114780649 A 2表各字段对应的实体 类型。 9.一种计算设备, 其特 征在于, 包括: 存储器, 用于存 储程序指令; 处理器, 用于调用所述存储器中存储的程序指令, 按照获得的程序指令执行如权利要 求1至7中任一项所述的方法。 10.一种计算机可读存储介质, 其特征在于, 包括计算机可读指令, 当计算机读取并执 行所述计算机可读指令时, 使得计算机执 行如权利要求1至7中任一项所述的方法。权 利 要 求 书 2/2 页 3 CN 114780649 A 3

.PDF文档 专利 一种识别结构化数据实体类型的方法及装置

文档预览
中文文档 16 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共16页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种识别结构化数据实体类型的方法及装置 第 1 页 专利 一种识别结构化数据实体类型的方法及装置 第 2 页 专利 一种识别结构化数据实体类型的方法及装置 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 10:56:22上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。