(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111669132.X (22)申请日 2021.12.31 (71)申请人 华东师范大学 地址 200062 上海市普陀区中山北路3 663 号 (72)发明人 高洪帆　晁佳豪　龚嘉礼　张丽　 杨争峰　曾振柄　 (74)专利代理 机构 成都方圆聿联专利代理事务 所(普通合伙) 51241 代理人 邓永红 (51)Int.Cl. G06T 3/40(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于神经网络的轻量级视频超分辨率 重建系统和方法 (57)摘要 本发明公开了一种基于神经网络的轻量级 视频超分辨率重建系统和方法， 包括： 云端服务 器、 视频图像转换模块和超分辨率模块。 视频图 像转换模块从云端服务器接收低分辨率视频， 并 将低分辨率视频转换为数个图片帧， 将图片帧输 入超分辨率模块， 超分辨率模块先对图片进行预 处理， 将低分帧通过神经网络模型， 获得经超分 辨率处理之后的高分辨率矩阵信息； 超分辨率模 块将高分辨率矩阵信息进行图片后处理， 超分辨 率模块将高分辨率图片帧输出给视频图像转换 模块， 视频图像转换模块在显示 设备上完成对图 片的输出。 本发明的优点是： 显示效果上 以及相 关指标上都大幅度领先于， 模型占用小， 输出速 率快， 在运行时所用内存空间较小。 权利要求书1页 说明书5页 附图2页 CN 114331846 A 2022.04.12 CN 114331846 A 1.一种基于神经网络的轻量级视频超分辨率重建系统， 其特征在于， 包括： 云端服务 器、 视频图像转换模块和超分辨 率模块； 所述云端服 务器用于发送视频至 视频图像转换模块； 所述视频图像转换模块是部署在本地个人电脑或便携式设备 上的服务程序， 视频图像转换模块功能是： a.接收来自服务器端的低分辨率视频b.将低分辨率视频按 照视频所提供 的帧率信息转换为多张图片c.接 收超分辨率模块所提供 的超分辨率结果并 将其在显示设备 上输出； 超分辨率模块是部署在本地个人电脑或者便携式设备 上的服务程序， 当视频图像转换模块接收到来自服务器的视频并将其转换为数个图片帧之后， 超分辨 率模块负责在保持视觉效果及相关指标仍处于较高水平的情况下快速准确实时地提升图 片帧的分辨率， 并将分辨率得到提升之后的视频帧发送至视频图像转换模块以供显示输 出。 2.根据权利要求1所述的轻量级视频超分辨率重建系统 的重建方法， 其特征在于， 包括 以下步骤： S1： 视频图像转换模块从云端服务器接收低分辨率视频， 并将低分辨率视频转换为数 个图片帧之后， 将图片帧输入 超分辨率模块， 每次输入两帧； S2： 超分辨率模块先对图片进行预处理， 预处理包含如下内容： a.计算机所读取的内容 为图片在每个像素位置不同的像素值， 预处理将每个像素点上的像素值都提取出来， 并转 换为程序可以直接处理的矩阵形式； b.神经网络所处理的数据区间位于[ 0,1]之间， 而图片 的原有表示区间位于[0,25 5]之间， 预处 理进行了数据的转换； S3： 在完成图片帧的预处理之后， 利用事先训练并加载好的神经网络模型， 将低分帧通 过神经网络模型， 获得 经超分辨 率处理之后的高分辨 率矩阵信息； S4： 超分辨率模块将高分辨率矩阵信 息进行图片后处理， 包括： 神经网络所得到的输出 信息位于[0,1]之间， 将输出信息转换至图片输出所在的[0,255]区间； 神经网络的输出与 图片信息的排列方式不同， 故需要将神经网络的输出转换为图片对应的形式 以便输出， 转 换时将每一个处于[0,25 5]区间内的数值除以25 5即转换完成； S5： 在超分辨率模块完成对于图片的后处理之后， 超分辨率模块将高分辨率图片帧输 出给视频图像转换模块， 视频图像转换模块在显示设备 上完成对图片的输出。 3.根据权利要求2所述的重建方法， 其特 征在于， S3中的神经网络模型训练流 程为： S31： 收集不同的高分辨率图片数据， 并将其经过降采样方法获得对应的低分辨率图 片； S32： 利用编写好的神经网络模型， 不断优化神经网络模型的参数直至参数收敛， 即可 获得训练好的神经网络模型。权　利　要　求　书 1/1 页 2 CN 114331846 A 2一种基于神经 网络的轻量级视频超分辨 率重建系统和方 法 技术领域 [0001]本发明涉及数字图像处理技术领域， 特别涉及一种基于知识蒸馏以及剪枝的神经 网络训练视频超分辨 率重建系统和方法。 背景技术 [0002]随着科学信息技术的高速发展， 图像和视频的应用遍布人类社会的各个领域， 人 们对图像的清晰度和质量的要求也越来越高， 从720p分辨率(720x480)到1080p高清分辨率 (1920x1080)， 再到4k 分辨率(3840x2160)甚至是8k(7680x432 0)超高清分辨率， 人们对于高 分辨率图片及视频的需求正在逐渐增加。 视频超分辨率因此具有重要用途。 视频超分辨率 源于图像超分辨 率， 它的目的是从一个或多个低分辨 率图像中恢复高分辨 率图像。 [0003]传统的视频超分辨率有基于插值的算法， 如双线性插值法、 双三次插值法等， 但是 这种方法过渡平 滑图像， 失去部分细节， 导 致最后视频性能下降。 [0004]与本发明相关的现有技 术一 [0005]目前， 大多数视频超分辨率算法以图像超分辨率算法为基础， 增加模块探索帧与 帧之间的特征， 从而提高视频超分辨率算法的性能。 很多算法基于运动估计和补偿的思想， 大部分方法将光流法应用于运动估计之中， 通过计算帧与帧之间的时域相关性和变化， 得 到帧间的信息。 通常的方法是将输入的图像由一个单独图像变成多个相关图像， 通过光流 模块来提取帧间的运动信息， 进行运动补偿。 最后再将其输入超分辨率模型进行超分辨率 得到高分辨 率的帧。 [0006]现有技术一的缺陷 [0007]1.虽然这种方法使视频超分辨率的性能显著提升， 但是训练的和预测的计算复杂 度、 存储开销、 时间耗费都 非常地高。 [0008]2、 引入神经网络之后， 模型变得十分庞大， 不 适合轻量级设备。 [0009]3、 现实情况下较大距离的运动普遍存在， 而光流法对较小的运动比较敏感， 当运 动速度过 快时， 传统的光 流放法适用性降低。 [0010]与本发明相关的现有技 术二 [0011]还有一部分视频超 分辨率算法采用Transformer模型， 增大模型的特征感受野， 同 时缩小模 型的大小， 并提高模 型的性能。 Transformer作为近些年在自然语 言处理领域大放 异彩的技术， 目前也开始逐步被应用到计算机视觉领域， 取得了很好的效果。 其核心就是采 用QKV机制， 增强模型的特 征提取能力， 从而生成更加清晰的高分辨 率帧。 [0012]现有技术二的缺陷 [0013]1.虽然这种方法模型大小较小， 但是模型运行时间较长， 运行过程中耗费的空间 较大， 对模型落地带来很大的困难。 [0014]2.这种方法没有 充分考虑视频信息间的时序关系， 造成一定的信息的浪费。 [0015]缩略语和关键术语定义 [0016]1.卷积神经网络(Convolut ional Neural Networks,CNN)是一类包含 卷积计算且说　明　书 1/5 页 3 CN 114331846 A 3