(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210474859.0 (22)申请日 2022.04.29 (71)申请人 中国科学院自动化研究所 地址 100190 北京市海淀区中关村东路95 号 (72)发明人 徐常胜　姚涵涛　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 周淑娟 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) G10L 25/51(2013.01) (54)发明名称 基于知识抗遗忘的地震幸存者识别方法及 装置 (57)摘要 本申请提供一种基于知识抗遗忘的地震幸 存者识别方法及装置， 方法包括： 将目标视频的 音频信息和视觉信息输入地震幸存者识别模型 中， 得到所述地震幸存者识别模 型输出的所述目 标视频的地震幸存者识别结果； 所述地震幸存者 识别模型是基于多个训练任务和损失函数对历 史模型进行训练得到的， 所述损失函数是基于弹 性权重约束损失、 特征复用损失和分类损失确定 的， 所述弹性权重约束损失用于约束两个相邻的 训练任务之间的参数更新， 所述特征复用损失用 于在基于训练任务进行训练时复用已训练的训 练任务的数据， 提高了地震幸存者识别的准确 性。 权利要求书3页 说明书12页 附图4页 CN 114926856 A 2022.08.19 CN 114926856 A 1.一种基于知识抗遗 忘的地震幸存者识别方法， 其特 征在于， 包括： 将目标视频的音频信 息和视觉信 息输入地震幸存者识别模型中， 得到所述地震幸存者 识别模型输出的所述目标视频的地震幸存者识别结果； 所述地震幸存者识别模型是基于多个训练任务和损失函数对历史模型进行训练得到 的， 所述损失函数是基于弹性权重约束损失、 特征复用损失和分类损失确定的， 所述 弹性权 重约束损失用于约束两个相邻的训练任务之间的参数更新， 所述特征复用损失用于在基于 训练任务进行训练时复用已训练的训练任务的数据。 2.根据权利要求1所述的基于知识抗遗忘的地震幸存者识别方法， 其特征在于， 所述将 目标视频的音频信息和视觉信息输入地震幸存者识别模型中， 得到所述地震幸存者识别模 型输出的所述目标视频的地震幸存者识别结果， 包括： 将目标视频的音频信 息和视觉信 息输入所述地震幸存者识别模型中， 基于目标视频中 的音频信息提取音频 特征， 基于所述目标视频中的视 觉信息提取视 觉特征； 基于所述音频特征和所述视觉特征， 进行特征融合， 得到跨模态音频特征和跨模态视 觉特征； 基于所述跨模态音频特征得到音频分类概率， 基于所述跨模态视觉特征得到视觉分类 概率， 基于所述音频分类概率和所述视觉分类概率， 得到所述地震幸存者识别模型输出 的 所述目标视频的地震幸存者识别结果。 3.根据权利要求1所述的基于知识抗遗忘的地震幸存者识别方法， 其特征在于， 还包 括： 将总训练样本划分为所述多个训练任务中每 个训练任务对应的训练样本； 将所述多个训练任务中的第 i个训练任务对应的训练样本输入所述历史模型中进行训 练， i为正整数； 在i大于1的情况下， 基于记忆模块样本对所述历史模型进行监督学习， 并基于所述第i 个训练任务对应的训练样本训练后所述历史模型的参数和所述第i ‑1个训练任务对应的训 练样本训练后所述历史模型的参数， 确定所述弹性权 重约束损失； 通过对所述第i个训练任务对应的训练样本进行随机采样得到采样结果， 基于所述采 样结果更新所述记 忆模块样本； 基于所述记 忆模块样本， 以及所述记 忆模块样本对应的标签， 确定所述特 征复用损失； 基于所述特征复用损 失、 所述弹性权重约束损 失和所述分类损 失， 确定所述损 失函数 是否收敛； 在所述损失函数未收敛的情况下， 对i执行加一操作， 以基于下个训练任务对应的训练 样本进行训练， 直至所述损失函数收敛； 在所述损 失函数收敛的情况下， 保存所述历史模型的参数， 得到所述地震幸存者识别 模型。 4.根据权利要求3所述的基于知识抗遗忘的地震幸存者识别方法， 其特征在于， 所述基 于所述第i个训练任务对应的训练样本训练后所述历史模型 的参数和所述第i ‑1个训练任 务对应的训练样本训练后所述历史模型的参数， 确定所述弹性权 重约束损失， 包括： 基于所述第i个训练任务对应的训练样本训练后所述历史模型的参数和所述第i ‑1个 训练任务对应的训练样本训练后所述历史模型 的参数， 利用弹性权重约束损失计算公式，权　利　要　求　书 1/3 页 2 CN 114926856 A 2确定所述弹性权 重约束损失； 所述弹性权 重约束损失计算公式如下： 其中， 表示所述弹性权重约束损失， θz表示所述第i个训练任务对应的训练样本训 练后所述历史模型的第z个参数， 表示所述第i ‑1个训练任务对应的训练样本训练后所 述历史模型的第z个参数， λ为表示所述第i个训练任务重要性的超参， αz为表示模型第z个 参数的重要性的参数， Φ 表示所述历史模型的参数 数量。 5.根据权利要求3所述的基于知识抗遗忘的地震幸存者识别方法， 其特征在于， 所述记 忆模块样本包括： 音频记 忆模块样本、 二维视 觉记忆模块样本和三维视 觉记忆模块样本； 所述基于所述记忆模块样本， 以及所述记忆模块样本对应的标签， 确定所述特征复用 损失， 包括： 基于所述音频记忆模块样本、 所述音频记忆模块样本对应的标签、 所述二维视觉记忆 模块样本、 所述二 维视觉记忆模块样本对应的标签、 所述三 维视觉记忆模块样本、 所述三 维 视觉记忆模块样本对应的标签， 利用特 征复用损失计算公式， 确定所述特 征复用损失； 所述特征复用损失计算公式如下： 其中， 表示所述特征复用损失， Ma表示所述音频记忆模块样本， Ya表示所述音频记 忆模块样本对应的标签， M2d表示所述二维视觉记忆模块样本， Y2d表示所述二维视觉记忆模 块样本对应的标签， M3d表示所述三维视觉记忆模块样本， Y3d表示所述三维视觉记忆模块样 本对应的标签， C E表示交叉熵损失。 6.一种基于知识抗遗 忘的地震幸存者识别装置， 其特 征在于， 包括： 识别模块， 用于将目标视频的音频信息和视觉信息输入地震幸存者识别模型中， 得到 所述地震幸存者识别模型输出的所述目标视频的地震幸存者识别结果； 所述地震幸存者识别模型是基于多个训练任务和损失函数对历史模型进行训练得到 的， 所述损失函数是基于弹性权重约束损失、 特征复用损失和分类损失确定的， 所述 弹性权 重约束损失用于约束两个相邻的训练任务之间的参数更新， 所述特征复用损失用于在基于 训练任务进行训练时复用已训练的训练任务的数据。 7.根据权利要求6所述的基于知识抗遗忘的地震幸存者识别装置， 其特征在于， 所述识 别模块， 具体用于： 将目标视频的音频信 息和视觉信 息输入所述地震幸存者识别模型中， 基于目标视频中 的音频信息提取音频 特征， 基于所述目标视频中的视 觉信息提取视 觉特征； 基于所述音频特征和所述视觉特征， 进行特征融合， 得到跨模态音频特征和跨模态视 觉特征； 基于所述跨模态音频特征得到音频分类概率， 基于所述跨模态视觉特征得到视觉分类 概率， 基于所述音频分类概率和所述视觉分类概率， 得到所述地震幸存者识别模型输出 的 所述目标视频的地震幸存者识别结果。权　利　要　求　书 2/3 页 3 CN 114926856 A 3