(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210563360.7 (22)申请日 2022.05.20 (71)申请人 辽宁大学 地址 110000 辽宁省沈阳市沈北新区道义 南大街58号 (72)发明人 刘允　黄宝庆　王晓旭　 (74)专利代理 机构 沈阳杰克知识产权代理有限 公司 21207 专利代理师 王洋 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于双流交互式网络的无参考立体图像质 量评价方法 (57)摘要 一种基于双流交互式网络的无参考立体图 像质量评价方法： 1.构建训练数据集， 从LIVE和 IVC立体图像数据集中， 随机选取80％图像作为 训练集并进行分块处理， 分块大小是64 ×64。 2. 对分块后的图像进行归一化处理， 使训练数据集 具有相同的分布， 加快训练速度和学习效率。 3. 构建双流交互式网络模型， 在左右视图子网络中 构建交互 式子网络来模拟双目感知， 在左右视图 子网络中加入非对称卷积核来增强局部信息的 感知。 4.将训练数据集输入到网络模型中提取图 像的单目和双目特征， 构建质量评价模型。 本发 明所述的基于双流交互式网络的质量评价模型 在国际主流的数据集上取得了优异的性能， 与目 前主流算法相比具有较好的竞争力。 权利要求书2页 说明书8页 附图1页 CN 114897854 A 2022.08.12 CN 114897854 A 1.一种基于双流交 互式网络的无参 考立体图像质量评价方法， 其特 征在于， 其 步骤为： 1)从立体图像数据集中选取预训练数据集， 并对数据集进行切片处理得到分辨率大小 为64×64的训练数据集； 同时， 对所构建的训练数据集进行预处理操作， 使用标准化预处 理， 将不同的图像映射到同一坐标系， 同时使网络模型 处理的输入数据具有相同趋势； 标准 化预处理函数如下： 其中， 式中(i,j)为图像块中像素点的位置坐标， I(i,j)为(i,j)坐标下图像块的像素 值， μ(i,j)为训练集图像的均值， σ(i,j)为训练集图像的方差； 2)训练基于双流交 互式网络模型作为质量特 征提取网络， 具体为： 2.1)构建左右视图子网络并使用非对称卷积核增强对输入图像块局部特 征的提取； 2.2)结合双通道感知机制构建交互式网络结构来获取输入数据的求和与差分信号， 然 后通过co ncat操作进行 特征融合； 2.3)融合左右视图子网络所提取的单目特征和交互式子网络所提取的双目特征， 然后 将融合特 征经过全连接层和ReLU激活函数处 理映射为图像的质量分数； 2.4)通过降低损失函数值来不断优化网络中神经元的权重参数， 最终使模型的预测性 能达到稳定状态。 ； 3)将预测数据输入到训练好的网络模型进行质量预测， 首先将预测数据同样通过第一 步的分块和标准化预 处理操作得到最 终的模型输入数据； 对于 分块后小块图像的主观质量 分数值采用整幅图像的主观值， 然后， 将预处理后的分块和其主观质量分数输入到模型得 到图像块的预测质量分数； 最后， 通过对一幅图像的所有小块的预测质量分数取平均值得 到该图像最终预测质量分数值。 2.根据权利要求1所述的一种基于双流交互式网络的无参考立体图像质量评价方法， 其特征在于， 所述的2.1)中， 具体方法为： 2.1)构建左右视图子网络， 通过构建相同结构的左右视图子网络用于模型的左右视图 块的特征提取， 并通过使用非对称卷积核提取更多左视图局部特征， 增强对局部特征 的感 知。 3.根据权利要求1所述的一种基于双流交互式网络的无参考立体图像质量评价方法， 其特征在于， 所述的2.2)中， 具体方法为： 2.2)构建交互式子网络， 通过结合双通道处理机制将左右视图子网络第二层卷积层来 获取求和和差分信息， 模拟人眼视觉感知过程中的双眼融合和双眼竞争机制； 所述的双通 道处理机制具体为： 通过对左右视图子网络的第二层卷积操作后进行求和和 求差操作， 得 到求和和差分通道， 如下 所示， sum+＝conv2L+conv2R   (2) diff‑＝conv2L‑conv2R   (3) 其中conv2L和conv2R分别是左、 右视图子网络第二个卷积层后的数据， sum+为求和通 道， 代表人眼感知过程中的双目融合； diff‑为差分通道， 代表人眼感知过程中的双目竞争； 然后， 求和通道和差分通道分别进行接触连接操作和最大池化操作。权　利　要　求　书 1/2 页 2 CN 114897854 A 24.根据权利要求1所述的一种基于双流交互式网络的无参考立体图像质量评价方法， 其特征在于， 所述的2.3)中， 具体方法为： 融合特征预测立体图像块质量分数， 将左右视图 子网络提取的图像单目特征和交互式子网络提取图像的双目特征， 通过把所提出的特征分 别经过全连接操作和降维操作， 进而通过特征融合得到最终双流交互式网络模型所提取的 图像特征， 最终， 将融合特征送入全连接层和ReLU激活函数处理进行立体图像块的质量预 测。 5.根据权利要求1所述的一种基于双流交互式网络的无参考立体图像质量评价方法， 其特征在于， 所述的2.4)中， 具体方法为： 计算网络的损失函数进行迭代训练， 优化神经元 权重参数， 通过计算预测的图像质量分数和图像的主观质量分数之 间的差异 来得到网络的 损失函数值； 通过使用均方根误差损失函数来计算网络的损失函数值， 然后反向传播优化 网路权重参数， 为了防止网络模型出现过拟合现象使用Dropout操作来裁剪网络中部分神 经元， 最后， 通过对训练数据的多次迭代处理， 降低网络预测质量分数的损失函数值， 使网 络预测的图像质量分数接 近图像主观质量分数。权　利　要　求　书 2/2 页 3 CN 114897854 A 3