(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210122075.1 (22)申请日 2022.02.09 (71)申请人 北京德信电通科技有限公司 地址 100055 北京市西城区百万庄大街16 号1号楼8层1828室 (72)发明人 刘延锋　黄启东　张宇　徐如　 (74)专利代理 机构 北京和信华成知识产权代理 事务所(普通 合伙) 11390 专利代理师 张菊萍 (51)Int.Cl. G06F 16/31(2019.01) G06F 16/332(2019.01) G06F 16/36(2019.01) (54)发明名称 一种多模态知识图谱构建与检索系统及方 法 (57)摘要 本发明涉及一种多模态知识图谱构建与检 索系统， 解决的是效率低、 实时性低的技术问题， 通过采用包括级联的知 识数据采集处理单元， 知 识图谱构建管理单元以及知识图谱应用服务单 元； 知识数据采集处理单元用于采集、 传输 数据， 包括多模态数据采集单元； 知识图谱构建管理单 元用于知识图谱的构建和更新管 理； 知识图谱的 构建包括根据业务需要构建本体， 根据数据内容 和本体结构完成知识融合， 将标签化的数据与本 体进行关联， 完成知识图谱模型的构建； 知识图 谱应用服务单元包括知 识检索单元、 知识关联和 推荐单元、 知识问答单元的技术方案， 较好的解 决了该问题， 可用于多模态知识图谱构建与检索 中。 权利要求书4页 说明书9页 附图1页 CN 114741466 A 2022.07.12 CN 114741466 A 1.一种多模态知识图谱构建与检索系统， 其特征在于： 所述多模态知识图谱构建与检 索系统包括级联的知识数据采集处理单元， 知识图谱构建管理单元以及知识图谱应用服务 单元； 知识数据采集处 理单元用于采集、 传输数据， 包括多模态数据采集单 元； 知识图谱构建管理单元用于知识图谱的构建和更新管理； 知识图谱的构建包括根据业 务需要构建本体， 根据数据内容和本体结构完成知识融合， 将标签化的数据与本体进行关 联， 完成知识图谱 模型的构建； 知识图谱应用服 务单元包括知识检索单 元、 知识关联和推荐单 元、 知识问答单 元； 知识融合执 行包括如下步骤： 步骤S1， 计算出各项多模态数据的实时变化率， 并根据预定义的变化率阈值区分高速 更新数据Pn和慢速更新数据Pr； 对于高速更新数据Pn， 调用快速变数据估计融合程序进 行数 据估计、 融合； 对于慢速更新数据Pr， 直接调用慢速变数据处理融合程序进行计算、 融合， 同 时直接对慢速更新数据Pr的变化值进行计算； 步骤S2， 快速变数据估计融合程序估计的变化值超过预定义的阈值或慢速更新数据Pr 的变化值值超过预定义的阈值， 则至少调用2个知识图谱构建模型完成知识图谱的模型构 建； 步骤S3， 将步骤S2中构建的知识图谱模型， 按照预先定义的投票策略形成最终的知识 图谱模型。 2.根据权利要求1所述的多模态知识图谱构建与检索系统， 其特征在于： 所述多模态数 据采集单元包括文本数据采集单元、 图像数据采集单元、 音频数据采集单元以及视频数据 采集单元。 3.根据权利要求1所述的多模态知识图谱构建与检索系统， 其特征在于： 调用快速变数 据估计融合 程序进行 数据估计、 融合包括： 步骤R1， 定义 其中， {x1, x2,...xk,xK}是历史高速更新数据样本中K个独立的数据样本观测值， k＝1,2,3...K， j和w 为预定义的参数， w1,w2,...wk为实数集 合； 步骤R2， 通过yk＝μ+αtk+εk， μ＝log(2γ)， 计算出特征指数 ∝和分散系数γ； 其中， εk为预定义的均值为0的属同一分布但独立的误差项系数， tk ＝log|wk|， K为历史样本个数； 步骤R3， 通过zk＝δwk+εk， 计算出位置参数δ， 其中， zk＝arctan(Im(wk)/Re(wk)， εk为预定 义的均值 为0的属同一分布 但独立的误差项系数； 步骤R4， 将步骤R2、 R3得到的特征指数 ∝， 分散系数γ， 位置参数δ带入φ(w)＝exp{jδ w‑γ|w|∝}， 并做傅里叶变换得到概率密度函数f(x)， 完成高速更新数据Pn的拟合估计融 合。 4.根据权利要求1所述的多模态知识图谱构建与检索系统， 其特征在于： 调用快速变数 据估计融合 程序进行 数据估计、 融合， 还 包括：权　利　要　求　书 1/4 页 2 CN 114741466 A 2步骤R5， 确定 作为快速变数据估计融合程序估计的变化值是否超过预定义 的阈值Tmax的指标； 其中， A为实时需估计、 融合的数据值， 是由历史高速更新数据 样本估计的参数， Tmax的是预先定义的融合 率对应的检测阈值。 5.根据权利要求1所述的多模态知识图谱构建与检索系统， 其特征在于： 所述知识数据 采集处理单元包括多个， 知识图谱构建管理单元包括多个， 以及知识图谱应用服务单元包 括多个； 步骤A1， 任选多个知识数据采集处理单元、 多个知识图谱构建管理单元、 多个知识图谱 应用服务单元组成实时系统； 步骤A2， 任选相邻前后级， 将前级的单元定义为初级单元， 后级的单元定义为次级单 元； 步骤A3， 定义实时系统效能模型为Η＝H1·H2·H3·H4·H5， 其中H1为实效性， H2为处理 效率， H3为系统承载率， H4为数据处 理精度， H5为系统故障率； 步骤A4， H4是预先定义， H5是根据历史情况计算出的实时系统故障率， 根据如下公示计 算出 H2＝PH21+(1‑P)H21H22， H3＝(NH31+NH32)/(N+M)； 其中， W＝PW1+(1‑P)(W1+W2)， T＝PT1+(1‑P)(T1+T2)， t为数据在初级单元和次级单元的 总共时间， P为预定义的数据从初级单元数据进入次级单元的概率， 初级单元处理效率 次级单元处理效率 初级单元负载系数 次级单元负载系数 N为初级单 元数量， M为次级单元数量， R为整数， PR根据预定义的初级单元的平均数据量 求得， QR根据预定义的次级单元的平均数据量 求得， W1＝ L1/λ为初级单元数据平均响应时间， W2＝L2/λH21P为次级单元响应时间； T1＝1/ μ1为初级单 元数据平均服务时间， T2＝1/ μ2为次级单元数据平均服务时间； μ1和 μ2为指数分布的参数， λ 为预定义的泊松参数； 步骤A5， 计算出实时系统的总体效能值， 判断总体效能值的大小， 如大于预定义阈值则 返回步骤A1重新选择组成新的实时系统。 6.一种多模态知识图谱构建与检索方法， 其特征在于： 所述多模态知识图谱构建与检 索方法基于 权利要求1 ‑5任一所述的多模态知识图谱构建与检索系统， 方法包括： 步骤1， 多模态数据采集单元采集知识数据， 并对知识数据进行预处理， 为数据区分数 据类别、 建立数据标识， 生 成标准数据条， 判断知识图谱数据库中是否存在， 如果存在， 则获 得标识进行索引， 不过不存在则存 储； 步骤2， 根据业务需要构建本体， 构建标准数据 条和本体的映射关系完成知识图谱模型权　利　要　求　书 2/4 页 3 CN 114741466 A 3