(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210698952.X (22)申请日 2022.06.20 (71)申请人 西北大学 地址 710069 陕西省西安市太白北路2 29号 (72)发明人 赵万青　刘博伟　彭进业　汪霖　 王珺　范建平　张晓丹　杨文静　 胡琦瑶　 (74)专利代理 机构 西安恒泰知识产权代理事务 所 61216 专利代理师 赵中霞 (51)Int.Cl. G06F 16/33(2019.01) G06F 16/36(2019.01) G06F 16/58(2019.01) G06F 40/295(2020.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种面向文物的跨模态知识图谱自动构建 方法 (57)摘要 本发明公开了一种面向文物的跨模态知识 图谱自动构建方法， 包括： (1)对文物数字资源的 非结构化数据进行信息抽取， 提取文物文本实 体； (2)构建文物文本知识图谱本体并填充数据 后提取文物实体的结构化向量表示； (3)获取文 物图像特征向量表示； (4)构建跨模态关系， 将文 物文本实体、 文物实体的结构化向量表示以及文 物图像特征向量表示映射到公共空间， 得到统一 的跨模态表 示， 构建出跨模态的文物遗产知 识图 谱。 本发明通过结合跨模态关系关联和知识图谱 技术， 联合特征学习和跨模态关系建模， 利用不 同模态内容的相关性获得补 充的知识， 从而优化 三元组， 实时针对文物遗产数据的结构化保存和 管理。 权利要求书2页 说明书7页 附图3页 CN 115129811 A 2022.09.30 CN 115129811 A 1.一种面向文物的跨模态知识图谱自动构建方法， 其特 征在于， 包括如下步骤： 步骤1， 提取文物文本实体： 对文物数字资源进行细粒度划分得到文物实体的类别和文物实体的属性， 并标注后得 到文物的文本信息数据集， 将文物的文本信息数据集输入至命名实体识别模型， 得到文物 文本实体； 步骤2， 构建文物文本知识图谱本体并填充数据后提取文物实体的结构化向量表示： 根据步骤1得到的文物实体的类别和文物实体的属性， 以及实体之间的关联关系， 构建 出文物文本知识图谱本体， 并用步骤1得到的文物文本实体填充文物文本知识图谱本体得 到文物文本知识图谱， 从文物文本知识图谱中提取文物实体的结构化向量表示； 步骤3， 文物图像特 征向量表示： 获取文物 的图像数据集， 利用深度神经网络提取每张文物图像中的特征， 构建图像特 征向量表示， 将这些图像特征向量表 示投影到文物实体的结构化信息空间， 得到与步骤2的 文物实体的结构化向量表示相同维度的文物图像特征向量表示， 使用基于注意力机制的方 法为文物文本实体构建聚合的文物图像特 征向量表示； 步骤4， 构建跨模态关系： 将步骤1中文物文本实体、 步骤2的文物实体的结构化向量表示以及步骤3得到的文物 图像特征向量表示映射到公共空间， 得到统一的跨模态 表示。 2.如权利要求1所述的面向文物的跨模态知识图谱自动构建方法， 其特征在于， 所述步 骤1中， 命名实体识别模型包括： 依次连接的BERT预训练模型、 Bi LSTM模型和CRF层； 将文物的文本信息数据集输入至命名实体识别模型， 得到文物文本实体包括以下步 骤： 文本信息数据集输入至BERT 预训练模型以将文物的文本信息的每个字符都使用向量来 表示， 并根据每个字符在文本中周围的字符学习来得到该字符在向量空间的位置， 输出词 向量； 然后将词向量输入BiLSTM模 型， 通过文本介绍的上下文信息， 自动提取上下文特征然 后输出词向量对应标签的可能性得分矩阵， 最后CRF层对BiLSTM输出的可能性得分矩阵进 行标注， 得到文物文本实体。 3.如权利要求1所述的面向文物的跨模态知识图谱自动构建方法， 其特征在于， 所述步 骤2中文物文本知识图谱本体通过使用知识图谱本体构建工具Prot égé工具构建得到 。 4.如权利要求1所述的面向文物的跨模态知识图谱自动构建方法， 其特征在于， 所述步 骤3包括： 步骤3.1， 根据构建出的文物文本知识图谱的文物实体， 从文物数字资源中获取对应文 物的图像数据集； 步骤3.2， 将文物图像作为输入传给深度卷积网络以构建图像特征向量表示； 该深度卷 积网络包括五个卷积层、 两个全连接层和一个softmax层的深度神经网络AlexNet； 步骤3.3， 得到每个文物的图像特征向量后， 使用投影矩阵将处于高维向量空间的图像 特征向量投影到低维向量空间， 使图像的特征向量和文本实体的特征向量处于同一维度 上； 步骤3.4， 通过文物图像特征向量表示及其相应的基于实体结构的文本实体的特征向 量表示得到注意力权重， 根据所得注意力权重为文物文本实体构建聚合的文物图像特征向 量表示。权　利　要　求　书 1/2 页 2 CN 115129811 A 25.如权利要求1所述的面向文物的跨模态知识图谱自动构建方法， 其特征在于， 所述步 骤4包括： 步骤4.1， 将步骤1中文物文本实体与步骤3得到的文物图像特征向量表示结合得到知 识图谱实体的文本特 征向量和图像特 征向量拼接的双模态 表示； 步骤4.2， 对于文物文本实体、 文物实体的结构化向量表示以及文物图像特征向量表示 及其组合 都定义打分函数： 采用步骤4.1 中的双模态表示扩充打分函数， 得到跨模态总体打 分函数； 步骤4.3， 采用损失函数优化步骤4.2得到的跨模态总体打分函数， 以最小化全局损失， 得到统一的跨模态 表示， 实现文物实体多模态信息的融合。权　利　要　求　书 2/2 页 3 CN 115129811 A 3