(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210167790.7 (22)申请日 2022.02.23 (71)申请人 中国科学技术大学 地址 230026 安徽省合肥市包河区金寨路 96号 (72)发明人 王子磊　刘钦颖　 (74)专利代理 机构 北京凯特来知识产权代理有 限公司 1 1260 专利代理师 郑立明　韩珂 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/40(2022.01) G06V 10/74(2022.01) G06V 10/762(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 骨架动作识别方法、 系统、 设备与存 储介质 (57)摘要 本发明公开了一种骨架动作识别方法、 系 统、 设备与存储介质， 该方案中： 一方面， 利用 在 有标签源数据上的有监督学习方法来获取对动 作具有判别力的信息， 并且利用在无标签的目标 数据上的无监督学习方法来提取目标数据自身 的属性， 从而充分利用了源数据和目标数据各自 的优势， 即使这些源数据和目标数据来自不同的 分布甚至不同的动作类别， 依然可以提供对动作 类别有判别力的信息； 另 一方面， 融合了两个支 路的知识， 通过在两个支路之间互相交换正负对 的划分来实现两个支路的伪标签信息传递， 以充 分发挥两个模型互补的优势， 实现相互促进学 习； 通过以上方式提升了模型训练效果， 进而提 升了骨架动作识别效果。 权利要求书4页 说明书10页 附图3页 CN 114565972 A 2022.05.31 CN 114565972 A 1.一种骨架动作识别方法， 其特 征在于， 包括： 构建包含左右两个并行支路的网络框架， 并获取源数据与目标数据； 所述源数据为有 标签数据， 目标 数据为无 标签数据， 所述源数据与目标 数据均为骨架序列数据； 训练阶段： 所述目标数据通过两种不同数据增强方式处理， 处理结果称为第一增强数 据与第二增强数据， 左支路输入源数据、 第一增强数据与第二增强数据， 右支路输入第一增 强数据与第二增强数据； 左支路中， 通过共享的特征提取器F0分别对源数据与第一增强数 据进行特征提取， 并结合源 数据的标签计算所述源 数据的分类损失； 右支路中， 设有两个特 征提取器记为F1与 特征提取器F1的输入为 所述第一增强数据， 特征提取器 的输入为所 述第二增强数据， 利用所述特征提取器F1与 提取的特征计算对比损失； 左支路中还设有 一个特征提取器 用来提取所述第二增强数据的特征， 并设有 两个目标 分类器， 记为 与 其中， 目标分类器 输入为所述共享的特征提 取器F0提取的所述第一增强数据的特征， 目标分类器 输入为所述特征提取器 提取的所述第二增强数据的特征， 将所述共 享的特 征提取器F0与目标分类器 作为第一 学生模型， 将所述特征提取器 与目标分类器 作为 第一教师模型； 右支路中， 两个特征提取器F1与 各自连接一个目标分类器， 记为 与 将特征提取器 F1与目标分类器 作为第二学生模型， 将特征提取器 与目标分类器 作为 第二教师模型； 利用两个教师模型各自产生的伪标签作为监督信号对应的计算与相应学生 模型的分类损失； 之后， 对于两个不同目标数据构成的目标数据对， 每一支路单独利用其内 部教师模型预测的相应两个第二增强数据的伪标签之 间的关系进 行正负对的划分， 并且利 用学生模型获得的相应两个第一增强数据 的预测概率分数， 计算两个第一增强数据相似 度； 两个支路相互交换各自的正负对的划分结果， 每一支路将自身计算的两个第一增强数 据相似度与来自另一支路相同目标数据对对应的两个第二增强数据的正负对划分结果进 行有监督的对比损失的计算； 利用计算出的所有损失构建总损失函数对左右支路进行训 练； 训练完毕后， 对于待分类的目标数据， 使用左支路中的第 一学生模型， 或者右支路中的 第二学生模型进行分类。 2.根据权利要求1所述的一种骨架动作识别方法， 其特征在于， 所述左支路中还设有解 码器D0， 所述解码器D0利用所述共享的特征提取器F0提取的源数据与第一增强数据的特征 重构相应的源数据与第一增强数据， 并计算重建损失。 3.根据权利要求1所述的一种骨架动作识别方法， 其特征在于， 所述右支路中， 特征提 取器F1为正常更新的特征提取器， 特征提取器 为滑动平均更新的特征提取器； 所述滑动平 均更新是指特征提取器 的参数 在特征提取器 F1的参数θ1的基础上通过下述方式进行更 新： 其中， ω为常数。 4.根据权利要求1所述的一种骨架动作识别方法， 其特征在于， 所述利用所述特征提取权　利　要　求　书 1/4 页 2 CN 114565972 A 2器F1与 提取的特 征计算对比损失包括： 所述右支路中设有一个实时更新的存储库M， 用来存放特征提取器 提取的所有第二增 强数据的特征； 每一次输入至特征提取器F1与 的第一增强数据与第二增强数据都由同一 个目标数据通过数据增强方式处理得到， 使用对比损失将特征提取器F1输出的特征和特征 提取器 输出的特征拉近， 同时， 将特征提取器F1输出的特征和实时更新的存储库M存储的 其它第二增强数据的特 征远离； 对于第i个目标 数据xi， 对比损失的计算方式表示 为： 其中， zi表示特征提取器F1提取第i个目标数据xi对应的第一增强数据的特征， 表示特 征提取器 提取的第i个目标数据xi对应的第二增强数据的特征， 表示特征提取器 提 取的第j个目标数据xj对应的第二增强数据的特征， N表示目标数据的数目， cos表示计算两 个特征的余弦距离， ρ 为预设定的常数， 用来控制输出的平 滑性。 5.根据权利要求1所述的一种骨架动作识别方法， 其特征在于， 所述第 一教师模型与第 二教师模型的参数由相应的第一学生模型与第二学生模型的参数滑动平均更新得到； 同一目标数据对应的第一增强数据与第二增强数据， 对应于相同的伪标签， 采用约束 生成伪标签是均匀分布的方法， 即每个伪标签所包含的目标数据数目是一致的； 首先将伪 标签的生成问题作为是一个最优传输 问题， 即生成伪标签的过程是将N个目标数据的特征 以最小的传输代价分配给K个类中心， 其中， N表示目标数据的数目， K表示目标数据的类别 数目； 使用N个目标数据的特征和K个类中心之间的距离来衡量传输代价， 类中心使用相应 目标分类 器的权重表示， 使用Si nkhorn‑Knopp算法求解最优传输问题。 6.根据权利要求5所述的一种骨架动作识别方法， 其特征在于， 将N个目标数据的伪标 签表示为 其中的元素Qkn代表第n个目标数据分配给第k个类中心的概率， 通过 Sinkhorn‑Knopp算法中， 将伪标签Q 转化为： Q＝diag( α )Pλdiag( β ) 其中， 是教师模型对 N个目标数据的预测概率， 所述的教师模型为第一教师模 型或第二教师模型， 其中的元素Pkn代表第n个目标数据预测为第k个类中心的概率， λ为 预定 义的常数， 用来控制算法的收敛性， 和 是两个向量， 它们通过如下公式迭代 更新： 其中， k是单个类中心的序号， i是目标数据的序号， αk、 βi代表α 的第k元素和β 的第i个元 素； 每一次都同时更新α和β， 上一次更新获得的K个αk组成α， 用于下一次βi的更新， 上一次更 新获得的N个βi组成β， 用于下一次αk的更新； 经过若干次的迭代后， 得到最优的向量α 和β， 利用最优的向量α 和β 计算出伪标签Q。 7.根据权利要求1所述的一种骨架动作识别方法， 其特征在于， 每一支路各自进行有监 督的对比损失的计算， 计算公式表示 为：权　利　要　求　书 2/4 页 3 CN 114565972 A 3