(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210999885.5 (22)申请日 2022.08.19 (71)申请人 大连民族大 学 地址 116000 辽宁省大连市金州新区辽河 西路18号 (72)发明人 张建新　王振伟　张冰冰　董微　 张强　 (74)专利代理 机构 大连东方专利代理有限责任 公司 21212 专利代理师 李馨 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 10/77(2022.01)G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种用于视频行为识别的分组二阶时空特 征聚合方法 (57)摘要 本发明公开了一种用于视频行为识别的分 组二阶时空特征聚合方法， 包括： 使用预训练的 2D卷积神经网络作为骨干模型， 获取包含视频数 据及标签的数据集并划分为训练集和测试集， 对 视频进行抽帧并保存到本地； 采用稀 疏采样方式 对视频进行采样， 将采样得到的帧作为输入传送 至整体分组二阶聚合网络中； 使用训练集训练分 组二阶聚合网络， 在每次迭代中更新网络参数， 并在每个迭代使用测试集数据进行验证， 保存最 优验证精度的分组二阶聚合网络权重； 使用准确 率最高的权重文件初始化分组二阶聚合网络， 在 测试集上进行测试， 将测试结果与标签数据进行 对比， 统计正确和错误的个数从而计算该网络在 测试集上的准确率。 权利要求书2页 说明书4页 附图1页 CN 115439778 A 2022.12.06 CN 115439778 A 1.一种用于 视频行为识别的分组二阶时空特 征聚合方法， 其特 征在于包括： 使用预训练的2D卷积神经网络作为骨干模型， 并在2D卷积神经网络的最后一个卷积层 之后使用分组二阶聚合模块 替换2D卷积神经网络原有平均池化层获得分组二阶聚合网络； 获取包含视频数据及标签的数据集并划分为训练集和测试集， 对视频进行抽帧并保存 到本地； 采用稀疏采样方式对视频进行采样， 将采样得到的帧作为输入传送至整体分组二阶聚 合网络中； 使用训练集训练分组二阶聚合网络， 在每次迭代中更新网络参数， 并在每个迭代使用 测试集数据进行验证， 保存最优 验证精度的分组二阶聚合网络 权重； 使用准确率最高的权重文件初始化分组二阶聚合网络， 在测试集上进行测试， 将测试 结果与标签数据进行对比， 统计正确 和错误的个数从而计算该网络在测试集上的准确率。 2.根据权利 要求1所述的方法， 其特征在于： 使用2D卷积神经网络中的ConvNeXt ‑T作为 骨干模型， 在ConvNeXt ‑T的最后一个卷积层之后， 使用分组二阶聚合模块替换ConvNeXt ‑T 原有的平均池化层获得分组二阶聚合网络 。 3.根据权利要求2所述的方法， 其特征在于： 设ConvNeXt ‑T最后一个卷积层的输出为χ ∈RT×D×H×W， 其中T、 D、 H、 W分别为长度、 深度、 宽度和高度， 将χ表示为一组D维的特征X＝ {x1,...,xN}， 其中N＝T ×H×W， 设整个特征空间为C， C有K个子空间， 即C＝{c1,...,cK}， 将 特征描述符xi{i＝1,...,N}分配到K个子空间进行聚合。 4.根据权利要求3所述的方法， 其特征在于： 在对特征进行聚合前， 将输入特征分解为M 个相对低维的向量 集： 在聚合时， 使用软分配的方式将特征描 述符xi{i＝1,...,N}分配到子空间中， 首先计算 特征描述符到第k个子空间的软分配权 重： g＝{1,...,M},k＝{1,...,K} αgk(xi)表示特征描述符 分配到子空间ck的权重， 将权重与残差信息相乘并在组间应 用注意函数： Attn(xi)＝σ(FC(xi)) 其中FC是全连接层， σ 是sigmo id激活函数， 使用加 和的方式将所有子空间融合： 其中 代表第k个子空间， 对VF进行重塑操作， 将其形状从 转换为权　利　要　求　书 1/2 页 2 CN 115439778 A 2最后执行协方差池化以获得高阶统计信息： 其中， I和1分别表示n ×n的单位矩阵和全1矩阵， 通过使用迭代矩阵平方 根归一化方法近似计算协方差矩阵的平方根以利用协方差矩阵的几何表示。权　利　要　求　书 2/2 页 3 CN 115439778 A 3