(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111640472.X (22)申请日 2021.12.2 9 (71)申请人 上海富瀚微电子股份有限公司 地址 200233 上海市徐汇区宜山路717号2 号楼6楼 (72)发明人 黄浩然　尹东　刘学彦　刘文庭　 董鹏宇　 (74)专利代理 机构 上海思捷知识产权代理有限 公司 312 95 代理人 刘畅 (51)Int.Cl. G06T 3/40(2006.01) G06T 5/30(2006.01) G06T 7/41(2017.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种视频图像非整数倍超分辨率重建装置 及方法 (57)摘要 本发明公开了一种视频图像非整数倍超分 辨率重建方法及装置， 该方法包括： S1， 获取图像 帧及图像帧运动信息图； S2， 分别进行相同位置 的分块处理； S3， 进行运动概率估计； S4， 对每个 图像块纹理复杂度进行分类； S5， 基于运动概率 估计与纹理复杂 度分类标签选择超分辨率网络； S6， 设计多个超分辨率网络， 并使用相同数据集 训练； S7， 利用K个超分辨率网络， 对选取的超分 辨率网络进行正向推理， 输出每个图像块的非整 数倍超分辨率图像块； S8， 将每个图像块的超分 结果与前一帧对应块的超分结果进行基于运动 的加权融合， 得到当前帧的超分辨率输 出； S9， 对 当前帧所有图像块的超分结果进行拼接融合， 得 到当前帧全幅面超分结果。 权利要求书3页 说明书15页 附图6页 CN 114240760 A 2022.03.25 CN 114240760 A 1.一种视频图像非整数倍超分辨 率重建方法， 包括如下步骤： 步骤S1， 获取图像帧及图像帧运动信息图； 步骤S2， 对当前帧图像及运动信息图分别进行相同位置的分块处 理； 步骤S3， 根据每 个图像块对应的运动信息图进行运动概 率估计； 步骤S4， 对每 个图像块的纹 理复杂度进行分类； 步骤S5， 基于图像块的运动概 率估计与纹 理复杂度分类标签选择超分辨 率网络； 步骤S6， 设计多个不同代价的超分辨 率网络， 并使用相同数据集训练； 步骤S7， 利用训练好的K个超分辨率网络， 根据步骤S5的选择， 对每个图像块选取对应 的超分辨 率网络进行正向推理， 输出每 个图像块对应的非整数倍超分辨 率图像块； 步骤S8， 将每个图像块的超分辨率结果与前一帧对应块的超分结果进行基于运动的加 权融合， 得到当前帧视频图像的超分辨 率输出； 步骤S9， 对当前帧所有图像块的超分辨率结果进行拼接融合， 得到当前帧全幅面超分 辨率结果。 2.如权利要求1所述的一种视频图像非整数倍超分辨率重建方法， 其特征在于， 于步骤 S2中， 对当前帧图像， 从视频流中获取单帧图像， 先对图像进行边界扩展操作， 使用相互重 叠的分割方式， 再将图像分割为若干个相同子块， 运动信息图为单通道， 使用与图像块相同 的分割参数进行分块操作。 3.如权利要求2所述的一种视频图像非整数倍超分辨率重建方法， 其特征在于， 步骤S3 进一步包括： 步骤S300， 对每个图像块的运动信息进行先腐蚀再膨胀的形态学操作， 得到预处理后 的运动信息图； 步骤S301， 对预处 理后的运动信息图进行直方图统计， 得到频 数分布； 步骤S302， 根据每 个位置的运动信息进行加权系数配置； 步骤S303， 基于频 数分布计算图像块 运动概率。 4.如权利要求3所述的一种视频图像非整数倍超分辨率重建方法， 其特征在于， 于步骤 S301中， 先对 每个位置的运动信息Cij进行归一化至0 ‑1操作， 然后设定 直方图的组数为k， 则 组距大小为1/k， 遍历所有位置的Cij， 分别计数到对应组内， 得到k个频 数。 5.如权利要求4所述的一种视频图像非整数倍超分辨率重建方法， 其特征在于， 步骤S4 进一步包括： 步骤S400， 对每个图像块进行二 值化处理； 步骤S401， 对每 个图像块进行图像纹 理复杂度特 征提取； 步骤S402， 基于提取的图像纹 理复杂度特 征构建纹 理复杂度分类模型。 6.如权利要求5所述的一种视频图像非整数倍超分辨率重建方法， 其特征在于， 于步骤 S401中， 提取的5个图像纹理复杂度特征分别为最大值特征、 均值特征、 样本平均值、 样 本标 准差以及熵值。 7.如权利要求6所述的一种视频图像非整数倍超分辨率重建方法， 其特征在于， 所述纹 理复杂度分类模型的训练数据预处 理过程如下： 从超分辨率训练集中随机抽取多组训练图像。 每组训练图像由低分辨图像和对应 高分 辨率图像组成， 并对每组图像进行随机分块， 得到n组图像块数据((LR1,HR1),…,(LRn,权　利　要　求　书 1/3 页 2 CN 114240760 A 2HRn))； 使用步骤S400和步骤S401对每组训练图像块中高分辨率 图像块进行预处理得到训练 特征数据(F1,…,Fn)； 获取特征向量对应的纹理复杂度标签， 先对训练图像块高分辨率图像块进行下采样至 低分辨率同等尺寸， 然后计算下采样图像块与原低分辨图像块之间的PSNR值记作Pi， i＝ 1,…,n； 基于所有训练图像块的PSNR分布状况， 对纹理复杂度进行标签划分。 设图像纹理复杂 度共设有L类， 将所有训练数据的PSN R从大到小排列， 按 数据个数将其分为L组， 每组图像块 的标签依次设置为1, …,L， 表示纹 理从简单到复杂； 最终得到的训练数据及标签(Fi， yi)， 其中yi＝1,…,L， 表示对应数据的标签。 8.如权利要求7所述的一种视频图像非整数倍超分辨率重建方法， 其特征在于， 于步骤 S6中， 所述非整数倍超分辨 率网络包括： 低分辨率图像块输入单 元， 用于负责将图像块输入 超分辨率网络中； 低分辨率特征重建单元， 用于从低分辨率图像中提取特征， 在不改变幅面大小的情况 下， 进行特征提取； 非整数倍特征超分辨率单元， 用于对输入低分辨率特征， 通过双向特征重建， 实现对非 整数倍超分辨率的高频特征进 行快速精准学习， 以便可以更好地从低分辨率图像中的恢复 非整数超分辨 率图像的细节纹 理， 提升非整数倍超分辨 率的性能； 高分辨率特征重建单元， 用于从非整数倍超分辨率特征中提取非整数倍超分辨率图 像， 在不改变特 征大小的情况 下， 进行特征通道压缩； 高分辨率图像块输出 单元， 用于输出网络正向推理后的非整数倍超分辨 率图像。 9.如权利要求8所述的一种视频图像非整数倍超分辨率重建方法， 其特征在于， 所述非 整数倍特 征超分辨 率单元包括： 输入单元， 用于对所述低分辨率特征重建单元的输出低分辨率特征进行通道压缩得到 低分辨率输入特 征， 压缩的程度随网络计算 量的增大而减小； 初始非整数倍上下采样单元与非整数上下采样单元， 两个单元之间设有稠密残差连接 结构构成的密集联通层， 以实现对非整数倍超分辨 率的高频 特征进行快速精准学习； 非整数倍超分单元， 由上采样单元构 成， 用于对双向采样特征进行非整数倍超分辨率， 从而避免直接对输入特 征进行非整数倍超分时的细节丢失。 10.一种视频图像非整数倍超分辨 率重建装置， 包括： 图像帧及图像运动信息获取 单元， 用于获取图像帧及图像帧运动信息图； 分块操作单 元， 用于对当前帧图像及运动信息图分别进行相同位置的分块处 理； 图像块运动估计单 元， 用于根据每 个图像块对应的运动信息图进行运动概 率估计； 图像块纹 理复杂度分类单 元， 用于对每 个图像块的纹 理复杂度进行分类； 超分辨率网络选择单元， 用于基于图像块的运动概率估计与纹理复杂度分类标签选择 超分辨率网络； 非整数倍超分辨率网络构建及训练单元， 用于设计多个不同代价的超分辨率网络， 并 使用相同数据集训练； 图像块超分辨率计算单元， 用于利用训练好的K个超分辨率网络， 根据超分辨率网络选权　利　要　求　书 2/3 页 3 CN 114240760 A 3