(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210960986.1 (22)申请日 2022.08.11 (71)申请人 中国人民解 放军国防科技大 学 地址 410073 湖南省长 沙市开福区德雅路 109号 (72)发明人 刘经权　胡卫东　杜小勇　 (74)专利代理 机构 长沙国科天河知识产权代理 有限公司 432 25 专利代理师 李杨 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/80(2022.01) G06F 17/16(2006.01) (54)发明名称 一种超图变分自编码器的多模态半监督表 征学习方法 (57)摘要 本申请涉及一种超图变分自编码器的多模 态半监督表征学习方法， 该方法包括： 利用多模 态数据构造多模态超图， 计算得到原始拉普拉斯 关系矩阵； 利用原始拉普拉斯关系矩阵构建单层 超图卷积并提取得到潜在的融合表 示； 利用变分 推理模型对融合表示引入标准高斯分布先验信 息并推理得到联合表征结果； 对 联合表征结果进 行内积计算生 成重构拉普拉斯关系矩阵； 利用KL 散度约束生成重构拉普拉斯关系矩 阵与原始拉 普拉斯关系矩阵的差异信息； 根据差异信息采用 交叉熵度量多模态数据的标签与融合表示之间 的损失， 初始化变 分自编码器的训练参数并采用 Adam算法对优化的目标函数进行梯度下降处理， 更新联合表征结果。 大幅提高了多模态数据处理 性能。 权利要求书2页 说明书11页 附图4页 CN 115359313 A 2022.11.18 CN 115359313 A 1.一种超图变分自编码器的多模态半监 督表征学习方法， 其特 征在于， 包括 步骤： 获取多模态数据； 所述多模态数据包括雷达特 征数据、 激光特 征数据和图像特 征数据； 利用所述多模态数据构造多模态超图； 根据所述多模态超图计算得到原 始拉普拉斯关系矩阵； 利用所述原始拉普拉斯关系矩阵构建单层超图卷积， 根据 所述单层超图卷积提取得到 潜在的融合表示； 利用变分推理模型对所述融合表示引入标准高斯分布先验信 息， 推理得到所述多模态 数据的联合表征 结果； 对所述联合表征 结果进行内积计算， 生成重构拉普拉斯关系矩阵； 利用KL散度约束生成所述重构拉普拉斯关系矩阵与所述原始拉普拉斯关系矩阵的差 异信息； 根据所述差异信 息， 采用交叉熵度量所述多模态数据的半监督标签与 所述融合表示之 间的损失， 得到优化的目标函数； 初始化变分自编码器的训练参数并采用Adam算法对所述优化的目标函数进行梯度下 降处理， 更新所述联合表征 结果； 所述联合表征 结果用于多传感器联合目标识别。 2.根据权利要求1所述的超图变分自编码器的多模态半监督表征学习方法， 其特征在 于， 利用所述多模态数据构造多模态超图的步骤， 包括： 计算所述多模态数据中单模态下每 个特征数据之间在欧氏空间上的距离； 采用K近邻算法计算每 个特征数据在欧氏空间上的K个近邻并选取 K值； 根据每个特征数据及特征数据在欧氏空间上的K个近邻构建单模态下的超边， 生成单 模态下的超图索引矩阵； 将每个单模态下的超图索引矩阵级联， 得到所述多模态超图。 3.根据权利要求1或2所述的超图变分自编码器的多模态半监督表征学习方法， 其特征 在于， 根据所述多模态超图计算得到原 始拉普拉斯关系矩阵的步骤， 包括： 计算所述多模态超图的超边的度矩阵和顶点的度矩阵； 根据所述超边的度矩阵和所述顶点的度矩阵， 计算得到所述原 始拉普拉斯关系矩阵。 4.根据权利要求3所述的超图变分自编码器的多模态半监督表征学习方法， 其特征在 于， 利用所述原始拉普拉斯关系矩阵构建单层超图卷积， 根据所述单层超图卷积提取得到 潜在的融合表示的步骤， 包括： 利用所述原 始拉普拉斯关系矩阵构建单层超图卷积； 利用所述单层超图卷积提取每 个模态下的隐变量表示； 将每个隐变量表示进行级联融合， 得到潜在的所述融合表示。 5.根据权利要求3所述的超图变分自编码器的多模态半监督表征学习方法， 其特征在 于， 利用变分推理模型对所述融合表示引入标准高斯分布先验信息， 推理得到所述多模态 数据的联合表征 结果的步骤， 包括： 利用所述单层超图卷积提取 所述融合表示的均值和方差； 采用重参数化 技巧训练， 从所述标准高斯分布先验信息中采样； 根据采样结果和所述融合表示的均值和方差， 生成所述联合表征 结果。 6.根据权利要求1所述的超图变分自编码器的多模态半监督表征学习方法， 其特征在权　利　要　求　书 1/2 页 2 CN 115359313 A 2于， 初始化变分自编码器的训练参数的过程， 包括： 初始化辍学者的比例、 K近邻算法的K值、 学习率的大小、 隐藏层的维数和训练的超参 数。 7.一种超图变分自编码器的多模态半监 督表征学习装置， 其特 征在于， 包括： 数据获取模块， 用于获取多模态数据； 所述多模态数据包括雷达特征数据、 激光特征数 据和图像特 征数据； 超图构建模块， 用于利用所述多模态数据构造多模态超图； 矩阵计算模块， 用于根据所述多模态超图计算得到原 始拉普拉斯关系矩阵； 卷积融合模块， 用于利用所述原始拉普拉斯关系矩阵构建单层超图卷积， 根据所述单 层超图卷积提取 得到潜在的融合表示； 联合表征模块， 用于利用变分推理模型对所述融合表示引入标准高斯分布先验信息， 推理得到所述多模态数据的联合表征 结果； 矩阵重构模块， 用于对所述联合表征 结果进行内积计算， 生成重构拉普拉斯关系矩阵； 差异计算模块， 用于利用KL散度约束生成所述重构拉普拉斯关系矩阵与 所述原始拉普 拉斯关系矩阵的差异信息； 目标函数模块， 用于根据所述差异信息， 采用交叉熵度量所述多模态数据的半监督标 签与所述融合表示之间的损失， 得到优化的目标函数； 表征更新模块， 用于初始化变分自编码器的训练参数并采用Adam算法对所述优化的目 标函数进行梯度下降处理， 更新所述联合表征结果； 所述联合表征结果用于多传感器联合 目标识别。 8.根据权利要求7所述的超图变分自编码器的多模态半监督表征学习装置， 其特征在 于， 所述超图构建模块包括： 距离计算子模块， 用于计算所述多模态数据中单模态下每个特征数据之间在欧氏空间 上的距离； 近邻计算子模块， 用于采用K近邻算法计算每个特征数据在欧氏空间上的K个近邻并选 取K值； 索引生成子模块， 用于根据每个特征数据及特征数据在欧氏空间上的K个近邻构建单 模态下的超边， 生成单模态下的超图索引矩阵； 超图级联子模块， 用于将每 个单模态下的超图索引矩阵级联， 得到所述多模态超图。 9.一种计算机设备， 包括存储器和处理器， 所述存储器存储有计算机程序， 其特征在 于， 所述处理器执行所述计算机程序时实现权利要求 1至6任一项 所述的一种超图变分自编 码器的多模态半监 督表征学习方法的步骤。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现权利要求1至6任一项所述的一种超图变分自编码器的多模态半监督 表征学习方法的步骤。权　利　要　求　书 2/2 页 3 CN 115359313 A 3