(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210640590.9 (22)申请日 2022.06.08 (71)申请人 东华理工大 学 地址 344000 江西省抚州市学府路5 6号 (72)发明人 王同罕　姜新童　贾惠珍　谢婷　 何月顺　张军　 (74)专利代理 机构 南昌卓尔精诚专利代理事务 所(普通合伙) 36133 专利代理师 徐柳华 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/40(2022.01) G06V 10/46(2022.01) G06V 10/766(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于图像语义信息的增量学习无参考图像 质量评价方法 (57)摘要 本发明涉及图像处理技术领域， 具体是基于 图像语义信息的增量学习无参考图像质量评价 方法， 其特征在于， 包括以下步骤： 划分增量任务 集； 将划分的增量任务集输入到特征提取网络 中； 将提取到的全局语义特征输入到混合注意力 模块中； 将获取到的带有空间信息的显著语义特 征与多尺度失真特征使用早融合的方式融合； 将 得到深度融合特征输入到回归网络中； 使用知识 蒸馏的方式将回归网络学习到的知识迁移到学 生网络； 使用学生网络对下一次增量任务的部分 图像数据做出质量分数预测， 本发 明基于图像语 义信息的增量学习无参考图像质量评价方法， 增 强了模型对不同场景失真图像的鲁棒性， 提高了 模型对不同场景失真图像质量的表达能力。 权利要求书3页 说明书4页 附图2页 CN 114972282 A 2022.08.30 CN 114972282 A 1.基于图像语义信息的增量学习无参考图像质量评价方法， 其特征在于， 包括以下步 骤： 步骤1， 划分增量任务集， 将训练集随机选取部分图像作为一次增量学习数据， 构建增 量学习数据集； 步骤2， 将步骤1划分的增量任务集输入到特征提取网络中， 提取失真图像的多尺度失 真特征和全局语义特 征； 步骤3， 将步骤2中提取到的全局语义特征输入到混合注意力模块中， 输出为带有空间 信息的显著语义特 征； 步骤4， 将步骤3 中获取到的带有空间信 息的显著语义特征与多尺度失真特征使用早融 合的方式 融合， 得到带有显著性语义的融合特 征； 步骤5， 将步骤4中得到深度融合特征输入到回归网络中， 得到本次增量学习图像的预 测得分； 步骤6， 使用知识蒸馏的方式将步骤5中回归网络学习到的知识迁移到学生网络； 步骤7， 使用学生网络对下一 次增量任务的部分图像数据做出质量分数预测， 再将这部 分数据与剩余的图像共同送入特 征提取网络中进行增量训练。 2.根据权利要求1所述的基于图像语义信息的增量学习无参考图像质量评价方法， 其 特征在于， 在步骤2中， 图像多尺度的失真特征是通过修改原生的ResNet50网络而实现的， 其中多尺度失真特 征表示为： 式中： Vi代表不同尺度的失真特 征， 其中i∈[1， 4]； 代表ResNet50模型， x是输入图像， γ为ResNet50网络在ImageNet数据集中预训 练得到的权 重参数。 3.根据权利要求1所述的基于图像语义信息的增量学习无参考图像质量评价方法， 其 特征在于， 在步骤3中， 首先， 把全局语义特征输入通道注意力模块， 筛选特征图中具有重要 意义的特征， 即著语义特征， 然后， 将显著语义特征输入到空间注意力模块中， 定位显著语 义特征的空间信息 。 4.根据权利要求3所述的基于图像语义信息的增量学习无参考图像质量评价方法， 其 特征在于， 在步骤3中， 采用混合注意力模块， 筛选出图像中显著 性语义信息， 减少图像质量 回归网络的规模， 其中语义显著特 征矩阵： Vs＝H(Vf， θ ) 式中： Vs代表语义显著特 征； H()表示混合注意力模块， Vf是全局语义特征， θ表示混合注意力模块在提取显著性语 义特征时的权 重参数。 5.根据权利要求1所述的基于图像语义信息的增量学习无参考图像质量评价方法， 其 特征在于， 在步骤4中， 将步骤2得到的失真图像的多尺度特征和步骤3得到显著 性语义特征 进行拼接， 得到多尺度语义显著融合特 征V: V＝concat(Vi， Vs) 式中： Vi代表特征提取网络提取到的不同层次的失真特征， Vs表示显著性语义特征，权　利　要　求　书 1/3 页 2 CN 114972282 A 2concat()是 特征拼接运 算。 6.根据权利要求1所述的基于图像语义信息的增量学习无参考图像质量评价方法， 其 特征在于， 在步骤6中， 采用知识蒸馏的方式保存旧的图像先验知识用于维持模型的稳定 性。 7.根据权利要求6所述的基于图像语义信息的增量学习无参考图像质量评价方法， 其 特征在于， 采用知识蒸馏方式的具体过程如下： 将回归网络分为教师网络和学生网络， 教师网络存储的先验知识丰富， 性能强大， 学生 网络存储的先验知识匮乏； 在给定的输入下通过最小化两个分布的交叉熵， 使得学生网络的输出分布与教师网络 的输出分布相近， 交叉熵公式： Lc＝‑pTlogq 式中： p代表教师网络的输出分布， q是 学生网络的输出分布， T表示温度； 其中， 输出分布q的公式为： 式中： 对于每条数据学生网络产生的logits为Zi， 对logits进行So ftmax操作便可得到 qi； 在训练阶段， 先把温度参数T调大， 此时输出分布变得平滑； 测试阶段再把温度参数T调 低， 继而把原有的知识提取 出来。 8.根据权利要求7所述的基于图像语义信息的增量学习无参考图像质量评价方法， 其 特征在于， 教师网络用来学习新知识， 并对图像质量进行评价， 其由四层全连接层组成， 由 L1损失函数进行约束； 学生网络同样由四层全连接层组成， 用来保存旧得先验知识， 由蒸馏损 失约束模型的 训练； 其中学生网络是通过对部分新增 量数据打上为标签的方式， 参与到教师网络的训练 过程中的。 9.根据权利要求8所述的基于图像语义信息的增量学习无参考图像质量评价方法， 其 特征在于， L1损失函数 具体公式为： 其中， V(xi)是图像的不同尺度的失真特征， S(xi)代表图像的深层语义特征， N为图像分 块数， xi、 qi分别为第i次训练图像块和图像的MOS值； 蒸馏损失函数Ld具体公式为： 其中， yi’表示旧增量任务模型的输出， yi表示新增量任务模型的输出； 总的损失函数L oss具体公式：权　利　要　求　书 2/3 页 3 CN 114972282 A 3