(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111629047.0 (22)申请日 2021.12.2 9 (71)申请人 南京东奇智能制造 研究院有限公司 地址 210008 江苏省南京市雨 花台区宁双 路19号云密城10号楼 9层 (72)发明人 费树岷　陆志刚　王彬彬　 (74)专利代理 机构 北京德崇智捷知识产权代理 有限公司 1 1467 专利代理师 黄雪 (51)Int.Cl. G06V 20/40(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于视频识别的小样本学习方法 (57)摘要 本发明公开了基于视频识别的小样本学习 方法， 包括如下步骤： 采集多帧连续的视频图像， 并生成预处理图像； 切割预处理图像， 在所采集 的多帧连续的视频图像中检测被识别对象的目 标区域； 将被识别对象的目标区域， 传输至SSD算 法模块， 利用SSD算法提取各帧视频图像中被识 别对象目标区域的特点； 根据提取的被识别对象 目标区域的特点， 构建用于学习的深度神经网络 模型； 基于公用数据库训练深度神经网络模型， 并对采集多帧连续的视频图像进行识别测试； 选 取少量未识别的视频图像建立训练样本库。 本发 明针对小样本数据集的特征提取方法能通过网 络模型的特征提取性能， 可以实现视频图像数据 的小样本学习， 节省大量的视频识别时间。 权利要求书1页 说明书3页 附图1页 CN 114463667 A 2022.05.10 CN 114463667 A 1.基于视频识别的小样本学习方法， 其特 征在于， 包括如下步骤： S1采集多帧连续的视频图像， 并生成预处 理图像； S2切割预处 理图像， 在所采集的多帧连续的视频图像中检测被识别对象的目标区域； S3将被识别对象的目标区域， 传输至SSD算法模块， 利用SSD算法提取各帧视频图像中 被识别对象目标区域的特点； S4根据提取的被识别对象目标区域的特点， 构建用于学习的深度神经网络模型； S5基于公用数据库训练深度神经网络模型， 并对采集多帧连续的视频图像进行识别测 试； S6选取少量未识别的视频图像建立训练样本库； S7用建立训练样本库继续训练深度神经网络； S8用训练好的深度神经网络对 采集多帧连续的视频图像进行识别测试。 2.根据权利要求1所述的基于视频识别的小样本学习方法， 其特征在于， 所述视频图像 通过卷积块进行特征提取， 得到图像投融资， 通过池化层对提取后的图像特征进行全局特 征提取， 得到全局特 征标量。 3.根据权利要求1所述的基于视频识别的小样本学习方法， 其特征在于， 根据 所提取的 各帧视频图像中被识别对象目标区域的特征， 分析被识别对象的目标区域有否出现持续时 间位于最小阈值与最大阈值之 间的动作， 并将目标区域出现了持续时间位于最小阈值与最 大阈值之间的动作的被识别对象确定为被识别对象， 最小阈值 为0.1秒， 最大阈值 为0.5秒。 4.根据权利要求1所述的基于视频识别的小样本学习方法， 其特征在于， 所述步骤S6选 取少量未识别的视频图像， 是指选取的图像占图像总数的比例小， 这个比例需要 小于10％。 5.根据权利要求1所述的基于视频识别的小样本学习方法， 其特征在于， 所述步骤S7训 练样本库， 需要对每一个样本图像进行 标注。 6.根据权利要求1所述的基于视频识别的小样本学习方法， 其特征在于， 所述的深度神 经网络模型， 主 要用于对目标进行检测， 深度神经网络模型为R ‑CNN系列模型。 7.根据权利要求1所述的基于视频识别的小样本学习方法， 其特征在于， 所述深度神经 网络模型进行优化， 根据深度神经网络模型输出 的特征向量计算总损失函数， 利用随机梯 度下降法优化总损失函数， 得到优化后的深度神经网络模型。 8.根据权利要求1所述的基于视频识别的小样本学习方法， 其特征在于， 所述步骤S2具 体为切割视频图像， 并将切割后的预 处理图像传输至SSD算法模块， 生 成基于运动物体的预 处理图像块， 利用S SD算法提取并识别运动目标的生物特 征， 完成对目标区域特点的提取。权　利　要　求　书 1/1 页 2 CN 114463667 A 2基于视频识别的小样本学习方 法 技术领域 [0001]本发明涉及视频图像处 理技术领域， 尤其涉及基于 视频识别的小样本学习方法。 背景技术 [0002]随着深度学习在图像领域内 的飞速发展， 计算机对图像的识别已经接近甚至超越 人类的表现。 近几年来大数据技术、 卷积神经网络和计算及性能都在飞速发展， 大规模数据 的图像任务， 例如图像分类、 目标检测、 图像分割等都已经发展的非常成熟。 然而目前主流 的深度学习网络模型都针对样本数量较大的任务提出， 而忽略了现实生活中大多 数任务场 景下数据量稀缺的问题， 大数据样本训练费时、 耗力， 业界已开始探索小样本机器学习方 法。 发明内容 [0003]基于背景技 术存在的技 术问题， 本发明提出了基于 视频识别的小样本学习方法。 [0004]本发明提出的基于 视频识别的小样本学习方法， 包括如下步骤： S1采集多帧连续的视频图像， 并生成预处 理图像； S2切割预处理图像， 在所采集的多帧连续的视频图像中检测被识别对象的目标区 域； S3将被识别对象的目标区域， 传输至SSD算法模块， 利用SSD算法提取各帧视频图 像中被识别对象目标区域的特点； S4根据提取的被识别对象目标区域的特点， 构建用于学习的深度神经网络模型； S5基于公用数据库训练深度神经网络模型， 并对采集多帧连续的视频图像进行识 别测试； S6选取少量未识别的视频图像建立训练样本库； S7用建立训练样本库继续训练深度神经网络； S8用训练好的深度神经网络对 采集多帧连续的视频图像进行识别测试。 [0005]优选的， 所述视频图像通过卷积块进行特征提取， 得到图像 投融资， 通过池化层对 提取后的图像特 征进行全局特 征提取， 得到全局特 征标量。 [0006]优选的， 根据所提取的各帧视频图像中被识别对象目标区域的特征， 分析被识别 对象的目标区域有否出现持续时间位于最小阈值与最大阈值之 间的动作， 并将目标区域出 现了持续时间位于最小阈值与最大阈值之 间的动作的被识别对象确定为被识别对象， 最小 阈值为0.1秒， 最大阈值 为0.5秒。 [0007]优选的， 所述步骤S6选取少量未识别的视频图像， 是指选取的图像占图像总数的 比例小， 这个比例需要 小于10％。 [0008]优选的， 所述 步骤S7训练样本库， 需要对每一个样本图像进行 标注。 [0009]优选的， 所述的深度神经 网络模型， 主要用于对目标进行检测， 深度神经网络模型 为R‑CNN系列模型。说　明　书 1/3 页 3 CN 114463667 A 3