(19)中华 人民共和国 国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111618605.3 (22)申请日 2021.12.28 (65)同一申请的已公布的文献号 申请公布号 CN 113987850 A (43)申请公布日 2022.01.28 (73)专利权人 湖南视觉伟业智能科技有限公司 地址 410000 湖南省长 沙市高新 开发区麓 天路28号金瑞麓谷科技园C1 1栋202 (72)发明人 夏东　 (74)专利代理 机构 长沙朕扬知识产权代理事务 所(普通合伙) 43213 代理人 包雨函 (51)Int.Cl. G06F 30/20(2020.01) G06K 9/62(2022.01)G06F 16/90(2019.01) G06T 17/00(2006.01) 审查员 李宇文 (54)发明名称 基于多源多模态数据的数字孪生模型更新 维护方法及系统 (57)摘要 本发明公开了基于多源多模态数据的数字 孪生模型更新维护方法及系统， 通过获取同一种 类模态的不同数据格式的多种观测数据及其时 空数据； 根据多种观测数据的时空数据将多种观 测数据进行时空关联对齐， 并将多种观测数据中 属于同一时空的观测数据融合， 并根据融合后的 观测数据更新对应时空的数字孪生模型的对应 模态。 相比现有技术， 本发明利用多源多模态数 据对数字孪生模 型进行更新， 这更加能够全面深 刻的反应客观真实世界的变化， 使得模型更加接 近真实世界。 此外， 本发明利用时空关联对齐模 型可以将在同一时空内的多模态数据进行统一 对数字孪生进行重点更新， 能提高更新模型的精 准度和全面 性。 权利要求书2页 说明书7页 附图1页 CN 113987850 B 2022.03.22 CN 113987850 B 1.一种基于多源多模态数据的数字孪生模型更新维护方法， 其特征在于， 包括以下步 骤： 获取同一种类模态的不同数据格式的多种观测数据及其 时空数据； 根据多种观测数据 的时空数据将多种观测数据进 行时空关联对齐， 并将多种观测数据中属于同一时空的观测 数据融合， 并根据融合后的观测数据更新对应时空的数字孪生模型 的对应模态； 所述时空 数据包括时间数据以及空间数据， 根据多种观测数据的时空数据将多种观测数据进行时空 关联对齐， 并将多种观测数据中属于同一时空的观测数据融合， 包括以下步骤： 根据各种观测数据的时间数据将各种观测数据离散到时间坐标轴中， 确定各种观测数 据的最小重 叠时间段； 根据各种观测数据的空间数据将各种观测数据离散到空间坐标系中， 确定各种观测数 据的最小重 叠空间； 根据所述 最小重叠时间段和所述 最小重叠空间确定时空最小单 元； 根据各种观测数据的时空数据将各种观测数据离散到时空坐标系中， 以所述 时空最小 单元为切割标准， 并沿着时空坐标系的坐标轴切割时空坐标系， 得到多个时空切割单 元； 对于任意一个时空切割单元， 将所述 时空切割单元内同一种类模态的观测数据进行融 合。 2.根据权利要求1所述的基于多源多模态数据的数字孪生模型更新维护方法， 其特征 在于， 将所述时空切割单 元内的观测数据进行融合的方式为均值融合。 3.根据权利要求1所述的基于多源多模态数据的数字孪生模型更新维护方法， 其特征 在于， 所述观测数据及其时空数据的数据格式包括文本、 图片以及视频。 4.根据权利要求3所述的基于多源多模态数据的数字孪生模型更新维护方法， 其特征 在于， 当观测数据及其时空数据的数据格式为文本时， 获取同一种类模态的不同数据格式 的多种观测数据及其时空数据， 包括以下步骤： 构建文本格式与数字 孪生模型的标准数据格式之间的第一映射 函数； 获取描述所述模态的第一文本， 并通过自然语言处理组件NLP对第一文本进行三元组 提取， 形成三元组列表 1； 利用词典wordnet对三元组列表 1中具有所述模态观测语义、 采集时空语义的属性进 行识别， 并提取识别得到所述模态观测语义、 采集时空语义的属性在三元组列表 1中对 应的值； 调用构建好的所述第一映射函数， 将所述模态观测语义、 采集时空语义的属性在三元 组列表 1中对应的值 转化为标准数据格式。 5.根据权利要求4所述的基于多源多模态数据的数字孪生模型更新维护方法， 其特征 在于， 当观测数据及其时空数据的数据格式为图片时， 获取同一种类模态的不同数据格式 的多种观测数据及其时空数据， 具体包括以下步骤： 利用图像识别工具提取描述所述模态图片的语义， 形成描述所述模态的第二文本； 通过自然语言处 理组件NLP对第二文本进行三元组提取， 形成三元组列表 2； 利用词典wordnet对三元组列表 2中具有所述模态观测语义、 采集时空语义的属性进权　利　要　求　书 1/2 页 2 CN 113987850 B 2行识别， 并提取识别得到所述模态观测语义、 采集时空语义的属性在三元组列表 2中对 应的值； 调用构建好的所述第一映射函数， 将所述模态观测语义、 采集时空语义的属性在三元 组列表 2中对应的值 转化为标准数据格式。 6.根据权利要求4所述的基于多源多模态数据的数字孪生模型更新维护方法， 其特征 在于， 当观测数据及其时空数据的数据格式为视频时， 获取同一种类模态的不同数据格式 的多种观测数据及其时空数据， 具体包括以下步骤： 利用视频识别工具提取描述所述模态视频的语义， 形成描述所述模态的第三文本； 通过自然语言处 理组件NLP对第三文本进行三元组提取， 形成三元组列表 3； 利用词典wordnet对三元组列表 3中具有所述模态观测语义、 采集时空语义的属性进 行识别， 并提取识别得到所述模态观测语义、 采集时空语义的属性在三元组列表 3中对 应的值； 调用构建好的所述第一映射函数， 将所述模态观测语义、 采集时空语义的属性在三元 组列表 3中对应的值 转化为标准数据格式。 7.根据权利要求1所述的基于多源多模态数据的数字孪生模型更新维护方法， 其特征 在于， 所述模态种类包括形状、 纹 理、 色泽。 8.一种计算机系统， 包括存储器、 处理器以及存储在存储器上并可在处理器上运行的 计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现上述权利要求1至7任一 所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 113987850 B 3