(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210664898.7 (22)申请日 2022.06.13 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市太白南路2号 (72)发明人 卢旺林　盛立杰　苗启广　 (74)专利代理 机构 陕西电子 工业专利中心 61205 专利代理师 田文英　王品华 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/77(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/26(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于度量学习和时空双流网络的跨视角 步 态识别方法 (57)摘要 一种基于度量学习和时空双流网络的跨视 角步态识别方法， 其步骤为： 生成训练集； 构建外 观运动双流子网络； 构建特征映射子网络； 将外 观运动双流子网络与特征映射子网络串联组成 深度学习网络； 生成联合损失函数； 跨视角步态 识别。 本发 明构建由外观运动 双流子网络和特征 映射子网络组成的深度学习网络， 生成由三元组 损失函数和多分类交叉熵损失组成的联合损失 函数， 克服现有技术时空特征学习能力和对视角 变化的鲁棒性不足的缺陷， 具有保存时间信息和 提高时空特征学习能力的优点， 并且利于实际情 况下部署使用和提升复杂条件下对噪声鲁棒性， 提高了跨视角步态 识别的准确率。 权利要求书4页 说明书11页 附图3页 CN 114998995 A 2022.09.02 CN 114998995 A 1.一种基于度量学习和时空双流网络的跨视角步态识别方法， 其特征在于,构建由外 观运动双流子网络和特征映射子网络组成的深度学习网络， 生成由三元组损失函数和多分 类交叉熵损失组成的联合损失函数； 该识别方法的具体步骤 包括如下： 步骤1， 生成训练集： 步骤1.1， 选取至少74个受试者的8140个步态轮廓序列； 步骤1.2， 对每个步态轮廓序列进行预处理， 得到行人头部位于图像的上边缘且脚部位 于图像的下边缘的对齐后的步态轮廓序列； 将对齐后的步态轮廓序列缩放成相同的图像大 小64×64； 步骤1.3， 将所有的数据样本组成训练集； 步骤2， 构建外观运动双流子网络： 步骤2.1， 构建外观流特征模块， 其结构依次为： 头部、 第一外观卷积块、 第二外观卷积 块、 第三外观卷积块、 第四外观卷积块； 第一至第四外观卷积块的结构相同， 每个外观卷积 块均由骨干分支和一个跳连分支组成； 所述头部由卷积层和池化层串联组成； 所述外观卷积块的骨干分支由第一卷积层、 第一LeakyReLU激活层、 第二卷积层、 第二 LeakyReLU激活层、 第三卷积层串联组成； 所述外观卷积块的跳连分支采用一个第四卷积 层， 使得跳跃连接的输出特征 的通道数和骨干分支保持一致； 外观卷积块的骨干分支和跳 连分支通过 逐位置加法器相连后再与第三 LeakyReLU激活层连接； 将头部中卷积层的卷积核大小设置为1 ×3×3， 卷积核通道数设置为1， 卷积核数量设 置为32； 将头 部中池化层设置为 最大池化层， 池化核的大小设置为1 ×3×3； 将第一至第 四外观卷积块中第一卷积层的卷积核大小均设置为1 ×1×1， 第二至第 四 卷积层的卷积核大小均分别设置为1 ×3×3、 1×1×1、 1×1×1； 将第一至第四卷积层的卷 积核的通道数分别设置为32、 32、 32、 32， 卷积核的数量分别设置为32、 32、 128、 128； 第二外 观卷积块中， 第一至第四卷积层的卷积核的通道数分别设置为128、 32、 32、 128， 卷积核的数 量分别设置为32、 32、 128、 128； 第三外观卷积块中， 第一至第四卷积层的卷积核的通道数分 别设置为128、 64、 64、 128， 卷积核的数量 分别设置为64、 64、 256、 2 56； 第四外观卷积块中， 第 一至第四卷积层的卷积核的通道数分别设置为256、 64、 64、 256， 卷积核的数量分别设置为 64、 64、 25 6、 256； 步骤2.2， 构建运动流特征模块结构依次： 头部、 第一运动卷积块、 第二运动卷积块、 第 三运动卷积块、 第四运动卷积块； 第一至第四运动卷积块的结构相同， 每个运动卷积块均由 骨干分支和一个跳连分支组成； 所述头部由卷积层和池化层串联组成； 所述运动卷积块结构和步骤2.1中所述外观卷积块的结构一 致； 将头部中卷积层的卷积核大小设置为3 ×3×3， 卷积核通道数设置为1， 卷积核数量设 置为32； 将头 部中池化层设置为 最大池化层， 池化核的大小设置为1 ×3×3； 将第一至第 四运动卷积块中第一卷积层的卷积核大小均设置为3 ×1×1， 第二至第 四 卷积层的卷积核 大小均分别设置为1 ×3×3、 1×1×1、 1×1×1； 将第一运动卷积块中， 第一 至第四卷积层的卷积核的通道数分别为32、 32、 32、 32， 卷积核的数量分别为32、 32、 128、 128； 第二运动卷积块中， 第一至第四卷积层的卷积核的通道数分别为128、 32、 32、 128， 卷积权　利　要　求　书 1/4 页 2 CN 114998995 A 2核的数量分别为32、 32、 128、 128； 第三运动卷积块中， 第一至第四卷积层的卷积核的通道数 分别为128、 64、 64、 128， 卷积核的数量分别为64、 64、 256、 256； 第四运动卷积块中， 第一至第 四卷积层的卷积核的通道数分别为25 6、 64、 64、 25 6， 卷积核的数量分别为64、 64、 25 6、 256； 步骤2.3， 构建第一至第四特征融合模块， 第一至第三特征融合模块的结构相同， 每个 特征融合模块均由卷积层和特 征拼接块组成； 所述特征拼接块由特征拼接操作构成， 对输入的外观特征和运动特征进行拼接， 融合 得到更加丰富的步态特 征； 将第一至第三特征融合模块中卷积层的卷积核大小均设置为1 ×1×1， 卷积核通道数 分别设置为32、 128、 25 6， 卷积核的个数分别设置为32、 128、 25 6； 将第一至第三特征融合模块中特征拼接层分别设置为按通道、 按通道、 按高度维度对 特征进行拼接； 步骤2.4， 构建外观流特征模块和运动流特征模块并联， 并使用第 一至第三特征融合模 块连接外观流特 征模块和运动流模块得到 外观运动双流子网络； 将第一特征融合模块中卷积层与外观流特征模块中头部的池化层相连， 卷积层的输出 特征与运动流特征模块中头部的池化层输出特征， 按通道维度进行拼接， 再与外观流特征 模块中第一运动卷积块相连； 将第二特征融合模块中卷积层与外观流特征模块中的第二外 观卷积块相连， 卷积层的输出特征与运动流特征模块中第二运动卷积块的输出特征， 按通 道维度进行拼接， 再与外观流特征模块中第三运动卷积块相连； 将第三特征融合模块中卷 积层与外观流特征模块中的第四外观卷积块相连， 卷积层的输出特征与运动流特征模块中 第四运动卷积块的输出特征， 按通道维度进行拼接得到最终输出特征， 其通道、 高、 宽大小 为分别为25 6、 64、 22； 完成外观运动双流子网络的构建； 步骤3， 构建特 征映射子网络： 步骤3.1， 构建时域池化模块， 其结构由时间维度的最大池化层组成； 将时域池化模块中的最大池化层的池化核大小设置为T1×1×1， 其中， T1为输入步态轮 廓序列的长度； 步骤3.2， 构建水平分割金字塔模块， 采用6个尺度， 其结构由第一尺度水平分割块、 第 二尺度水平分割块、 第三水平分割块、 第四水平分割块、 第五水平分割块、 第六水平分割块 并联组成； 第一至第六 水平分割块的结构相同， 每 个水平分割块由特 征水平分割层组成； 所述特征水平分割层由高度维度的特 征分割操作组成， 将输入特 征分割为多个条 带； 将第一至第六水平分割层中的条带数分别设置为1、 2、 4、 8、 16、 32， 条带的高分别设置 为64、 32、 16、 8、 4、 2， 宽均设置为2 2， 共得到 63条带， 每个条带代表每个人体部分特 征； 步骤3.4， 构建广义平均池化模块结构依次为： 第一广义池化块、 第二广义池化块、 第三 广义池化 块、 第四广义池化 块、 第五广义池化 块、 第六广义池化 块并联组成； 所述广义池化块由对每个条带第一次幂运算、 平均池化层、 对特征第二次幂运算串联 组成； 将第一至第六广义池化块中第一次和第二次幂运算的指数均设置为可学习的参数p， 第一次幂运算是对输入特征进行求p次幂， 第二次幂运算是对输入特征求 次幂， p默认设 置为6.5， 在利用反向传播算法进 行训练时可以学习从而变化； 将第一至第六广义池化块中权　利　要　求　书 2/4 页 3 CN 114998995 A 3