(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210459777.9 (22)申请日 2022.04.24 (71)申请人 中国科学院计算 技术研究所 地址 100080 北京市海淀区中关村科 学院 南路6号 (72)发明人 陈益强　秦欣　王晋东　卢旺　 (74)专利代理 机构 北京律诚同业知识产权代理 有限公司 1 1006 专利代理师 祁建国　陈思远 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于特征自适应融合领域泛化的行为识别 方法及系统 (57)摘要 本发明提出一种基于特征自适应融合领域 泛化的行为识别方法和系统， 具体来说所提的算 法包括领域特定表示学习模块和领域不变表示 学习模块， 通过领域特定特征的学习， 抽取每个 源域特定的特性， 使得具有更多样的特征表示； 通过领域不变表示学习模块学习领域无关的特 征， 抽取所有领域共有的、 不变特点， 提高泛化性 能。 将两部分特征自适应融合， 使得能够训练泛 化性能良好的模 型， 从而在未知的目标域上实现 良好的分类性能， 完成目标域的人类行为识别任 务。 权利要求书3页 说明书9页 附图1页 CN 114821789 A 2022.07.29 CN 114821789 A 1.一种基于特 征自适应融合领域泛化的行为识别方法， 其特 征在于， 包括： 步骤1、 获取多个数据 领域的行为数据集， 该行为数据集中行为数据均具有行为识别标 签和所属领域标签； 将该行为数据集中一个领域作为目标域， 目标域以外的领域作为源域； 构建包括行为分类模块、 共有特征提取模块、 特定特征提取模块和领域分类模块的行为识 别模型； 步骤2、 使用该共有特 征提取模块， 提取 该行为数据集中源域行为数据间的共有特 征； 步骤3、 通过计算源域的领域特定损失训练该特定特征提取模块， 提取各源域的领域特 定特征； 步骤4、 对领域特定特征进行分布适配学习领域不变特征， 计算适配损 失， 以对所有领 域特定特 征进行分布适配； 步骤5、 将该共有特征输入该领域分类器， 以该领域分类器的输出作为权重， 加权融合 领域特定特征， 得到融合特征， 将该融合特征输入该行为分类模块， 得到分类结果， 结合该 行为识别标签构建 分类模块的分类损失； 步骤6、 基于该分类损失、 该适配损失和该领域特定损失， 训练该行为识别 模型， 并将待 测行为数据作为目标域输入训练完成后的该行为识别模型， 得到待测行为数据的行为识别 结果。 2.如权利要求1所述的基于特 征自适应融合领域泛化的行为识别方法， 其特 征在于， 该步骤3包括： 步骤31、 第k个源域特定的损失为： 其中第k个源域具有nk个数据样本， fd为该领域分类器， fe为该共有特征提取模块， xi为 当前源域中第i个数据样本， dk为xi的领域标签； 步骤32、 对所有源域损失平均得到该 领域特定损失 其中K为源域总数； 该步骤4包括： 步骤41、 通过 下式得到适配损失： 其中， i和 j是领域的标号， φ(x)是将原始特征空间映射到再生希尔伯特空间的映射函 数， 表示训练领域； 该步骤5包括： 采用交叉熵损失作为该分类模块的分类损失： 其中N为训练样本数量。权　利　要　求　书 1/3 页 2 CN 114821789 A 23.如权利要求2所述的基于特征自适应融合领域泛化的行为识别方法， 其特征在于， 该 步骤6包括： 其中λ和β为自适应超参数， 通过梯度下降对 进行优化， 以完成该行为识别模型的训 练。 4.如权利要求1所述的基于特征自适应融合领域泛化的行为识别方法， 其特征在于， 该 步骤6包括： 测试时， 所有共有特征提取器提取该待测行为数据的特征， 其并经过该领域分类器， 得 到该目标域数据和各源域的相似度， 并作为权重； 通过所有领域特征提取器依 次提取该待 测行为数据， 得到多个领域特定特征， 利用该权重对这所有 领域特定特征进行加权求和， 并 将求和结果输入行为分类模块， 得到该 行为识别结果。 5.一种基于特 征自适应融合领域泛化的行为识别系统， 其特 征在于， 包括： 模块1， 用于获取多个数据 领域的行为数据集， 该行为数据集中行为数据均具有行为识 别标签和所属领域标签； 将该行为数据集中一个领域作为 目标域， 目标域以外的领域作为 源域； 构建包括行为分类模块、 共有 特征提取模块、 特定特征提取模块和领域分类模块的行 为识别模型； 模块2， 用于使用共有特征提取模块， 提取该行为数据集中源域行为数据间的共有特 征； 模块3， 用于通过计算源域的领域特定损失训练特定特征提取模块， 提取各源域的领域 特定特征； 模块4， 用于对领域特定特征进行分布适配学习领域不变特征， 计算适配损失， 以对所 有领域特定特 征进行分布适配； 模块5， 用于将该共有特征输入领域分类器， 以该领域分类器的输出作为权重， 加权融 合领域特定特征， 得到融合特征， 将该融合特征输入行为分类模块， 得到分类结果， 结合该 行为识别标签构建 分类模块的分类损失； 模块6， 用于基于该分类损失、 该适配损失和该领域特定损失， 训练该行为识别 模型， 并 将待测行为数据作为目标域输入训练完成后的该行为识别模型， 得到待测行为数据的行为 识别结果。 6.如权利要求5所述的基于特 征自适应融合领域泛化的行为识别系统， 其特 征在于， 该模块3包括： 损失计算模块， 用于通过 下式计算第k个源域特定的损失： 其中第k个源域具有nk个数据样本， fd为该领域分类器， fe为该共有特征提取模块， xi为 当前源域中第i个数据样本， dk为xi的领域标签； 平均模块， 用于对所有源域损失平均得到该领域特定损失 其中K为源 域总数； 该模块4用于通过 下式得到适配损失：权　利　要　求　书 2/3 页 3 CN 114821789 A 3