(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111636227.1 (22)申请日 2021.12.28 (71)申请人 北京邮电大 学 地址 100876 北京市海淀区西土城路10号 (72)发明人 张华　李勇胜　涂腾飞　李吉帅　 金正平　温巧燕　 (74)专利代理 机构 北京风雅颂专利代理有限公 司 11403 专利代理师 陈莉 (51)Int.Cl. G06V 20/40(2022.01) G06V 40/10(2022.01) G06V 10/764(2022.01) G06K 9/62(2022.01) (54)发明名称 基于声音的视频动作分类方法及相关 设备 (57)摘要 本申请提供一种基于声音的视频动作分类 方法及相关设备， 所述方法包括： 获取待处理视 频的音频数据； 构建所述音 频数据的声音纹理特 征； 将所述声音纹理特征输入至预先训练的第一 动作分类网络中， 输出第一动作分类结果； 获取 所述待处理视频的视频帧； 将所述视频帧输入至 预先训练的第二动作分类网络中， 输出第二动作 分类结果； 利用加权平均的方式对 所述第一动作 分类结果和所述第二动作类结果进行融合， 得到 所述待处理视频对应的动作分类结果。 本申请的 方法， 只需要增加少量参数， 便能够提升动作分 类任务的准确率。 权利要求书2页 说明书10页 附图5页 CN 114529846 A 2022.05.24 CN 114529846 A 1.一种基于声 音的视频动作分类方法， 其特 征在于， 包括： 获取待处 理视频的音频 数据； 构建所述音频 数据的声 音纹理特征； 将所述声音纹理特征输入至预先训练的第一动作分类网络中， 输出第一动作分类结 果； 获取所述待处 理视频的视频帧； 将所述视频帧输入至预 先训练的第二动作分类网络中， 输出第二动作分类结果； 利用加权平均的方式对所述第 一动作分类结果和所述第 二动作类结果进行融合， 得到 所述待处 理视频对应的动作分类结果。 2.根据权利要求1所述的分类方法， 其特征在于， 所述声音纹理特征是通过以下方式构 建的： 将所述音频 数据进行 快速傅里叶变换， 得到声 音波形数据； 利用第一带通滤波器组对所述声 音波形数据进行 滤波， 得到第一子带波形 数据； 将所述第一子带波形 数据， 通过希尔伯特变换 得到第二子带波形 数据； 将所述第二子带波形 数据进行压缩， 得到第三子带波形 数据； 将所述第三子带波形 数据在目标 频率进行重新采样， 得到第四子带波形 数据； 获取所述第四子带波形的第一统计数据和第一相关性数据； 利用第二带通滤波器组对所述第四子带波形 数据进行 滤波， 得到第五子带波形 数据； 获取所述第五子带波形的第二统计数据和第二相关性数据； 将所述第一统计数据、 所述第一相关性数据、 所述第二统计数据和所述第二相关性数 据进行融合， 得到所述声 音纹理特征。 3.根据权利要求2所述的分类方法， 其特征在于， 所述第 一统计数据和第 二统计数据均 包括： 平均值、 标准差和均方响应； 所述第一相关性数据和第二相关性数据均为皮尔逊相关系数。 4.根据权利要求2所述的分类方法， 其特征在于， 所述第 一带通滤波器组 的中心频率范 围为20Hz～10000Hz， 所述第二带通滤波器组的中心频率范围为0.5 Hz～200Hz。 5.根据权利要求1所述的分类方法， 其特征在于， 所述动作分类结果是通过下式计算得 到的： p＝w1*p1+w2*p2 其中， p表示动作分类结果,p1表示第一动作类结果， w1表示第一动作类结果的权重， p2 表示第二动作类结果， w2表示第二动作类结果的权 重， 且w1+w2＝1。 6.根据权利要求1 ‑5任意一项所述的分类方法， 其特征在于， 所述第 一动作分类网络包 括： 5个隐藏层和1个输出层， 其中， 所述5个隐藏层的输出维度 分别为128、 128、 64、 64和32， 输出层的维度为 N， N表示动作识别种类的数量。 7.根据权利要求1 ‑5任意一项所述的分类方法， 其特征在于， 所述第 二动作分类网络为 I3D网络。 8.一种基于声 音的视频动作分类装置， 其特 征在于， 包括： 第一获取模块， 被 配置为获取待处 理视频的音频 数据； 构建模块， 被 配置为构建所述音频 数据的声 音纹理特征；权　利　要　求　书 1/2 页 2 CN 114529846 A 2第一分类模块， 被配置为将所述声音纹理特征输入至预先训练的第一动作分类网络 中， 输出第一动作分类结果； 第二获取模块， 被 配置为获取 所述待处 理视频的视频帧； 第二分类模块， 被配置为将所述视频帧输入至预先训练的第二动作分类网络中， 输出 第二动作分类结果； 结果融合模块， 被配置为利用加权平均的方式对所述第 一动作分类结果和所述第 二动 作类结果进行融合， 得到所述待处 理视频对应的动作分类结果。 9.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至7任意一项所述的方 法。 10.一种非暂态计算机可读存储介质， 所述非暂态计算机可读存储介质存储计算机指 令， 其特征在于， 所述计算机指令用于使计算机执 行权利要求1至7任一所述方法。权　利　要　求　书 2/2 页 3 CN 114529846 A 3