(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111675791.4 (22)申请日 2021.12.31 (71)申请人 中国电信股份有限公司 地址 100033 北京市西城区金融大街31号 (72)发明人 贾立煜　李祎琨　潘炜　董炳泉　 王龙山　孙丽　薛志勇　 (74)专利代理 机构 中国贸促会专利商标事务所 有限公司 1 1038 代理人 田菁 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06K 9/62(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于视频进行动作识别的方法及系统 (57)摘要 本公开涉及基于视频进 行动作识别的方法， 包括： 基于所述视频包括的连续帧的数据， 使用 核互相关器来计算每一帧中跟踪目标的位置； 以 及基于每一帧的数据以及每一帧中跟踪目标的 位置， 使用长短期记忆模型LS TM对视频中的运动 特征进行计算。 本公开还涉及基于视频进行动作 识别的系统和存 储介质。 权利要求书2页 说明书7页 附图2页 CN 114360061 A 2022.04.15 CN 114360061 A 1.一种基于 视频进行动作识别的方法， 包括： 基于所述视频包括的连续帧的数据， 使用核互相关器来计算每一帧中跟踪目标的位 置； 以及 基于每一帧的数据以及每一帧中跟踪目标的位置， 使用长短期记忆模型LSTM对视频中 的运动特 征进行计算。 2.根据权利要求1所述的方法， 其中， 计算每一帧中跟踪目标的位置包括： 以计算出的前一帧中跟踪目标的位置为中心， 在当前帧的数据中确定一个或多个数据 块； 使用基于前一帧的数据计算的互相关系数矩阵， 对所述一个或多个数据块进行互相关 滤波， 以计算互相关滤波的响应矩阵； 以及 根据所述响应矩阵确定当前帧中跟踪目标的位置 。 3.根据权利要求1或2所述的方法， 其中， 所述核互相关器的核函数为高斯核函数， 所述 核互相关器的训练初始化使用的响应矩阵为中心位置的元 素为1、 其 他元素为0的矩阵。 4.根据权利要求1所述的方法， 其中， 使用LSTM对视频中的运动信息进行计算包括： 基 于每一帧的数据Xt以及每一帧中跟踪目标的位置Mt来计算LSTM的门函数和候选存储单元， 从而使用LSTM来对视频中的运动信息进行计算。 5.根据权利要 求4所述的方法， 其中， 根据如下 公式分别计算LS TM的输入门函数It、 遗忘 门函数Ft、 输出门函数Ot和候选存 储单元 It＝σ(Wxi*Xt+Whi*Ht‑1+Wmi*Mt+bi) Ft＝σ(Wxf*Xt+Whf*Ht‑1+Wmf*Mt+bf) Ot＝σ(Wxo*Xt+Who*Ht‑1+Wmo*Mt+bo) 其中， 下标t表示该参数关于当前帧， 下标t ‑1表示该参数关于前一帧， 下标i表示该参 数关于输入门函数， 下标f表示该参数关于遗忘门函数， 下标o表 示该参数关于输出门函数， 下标c表示该参数关于候选存储单元， σ 为激活函数， ＊为卷积运算， H为隐藏状态， Wx、 Wh、 Wm 为二维卷积核， b为训练参数。 6.根据权利要求1所述的方法， 还包括： 在使用核互相关器来计算每一帧中跟踪目标的 位置之前， 使用卷积层提取视频的每一帧的特 征图， 其中， 所述数据为特 征图。 7.根据权利要求1所述的方法， 还 包括： 使用softmax分类 器对计算的运动特 征进行动作分类。 8.一种基于 视频进行动作识别的系统， 包括： 空间特征提取模块， 被配置为使用卷积层对所述视频包括的各个帧进行处理， 以得到 每一帧的特 征图； 运动流估计模块， 被配置为基于连续帧的特征图， 使用核互相关器来计算每一帧中跟 踪目标的位置； 运动特征估计模块， 被配置为基于每一帧的特征图以及每一帧中跟踪目标的位置， 使 用长短期记 忆模型LSTM对视频中的运动特 征进行计算； 以及权　利　要　求　书 1/2 页 2 CN 114360061 A 2动作分类模块， 被 配置为使用softmax分类 器对计算的运动特 征进行动作分类。 9.一种基于 视频进行动作识别的系统， 包括： 存储器， 其上存 储有指令； 以及 处理器， 被配置为执行存储在所述存储器上的指令， 以执行以根据权利要求1至7中的 任一项所述的方法。 10.一种计算机可读存储介质， 包括计算机可执行指令， 所述计算机可执行指令在由一 个或多个处理器执行时， 使得所述一个或多个处理器执行根据权利要求 1至7中的任意一项 所述的方法。权　利　要　求　书 2/2 页 3 CN 114360061 A 3