(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111603695.9 (22)申请日 2021.12.24 (71)申请人 广州市广播电视台 地址 510030 广东省广州市越秀区环市中 路231号 (72)发明人 滕建新　刘勤山　何杰锋　袁锦春　 梁谦亢　 (74)专利代理 机构 北京高航知识产权代理有限 公司 11530 专利代理师 刘艳玲 (51)Int.Cl. G06T 5/00(2006.01) G06T 7/13(2017.01) G06T 3/40(2006.01) G06N 3/08(2006.01)G06N 3/04(2006.01) (54)发明名称 一种边缘加强的视频质量评估方法 (57)摘要 本发明提供了一种边缘加强的视频质量评 估方法， 包括S1， 分别对输入视频的每一帧视频 帧进行拆分 处理； S2， 通过边缘检测算法对R、 G、 B 三通道的 图像进行边缘检测； S3， 合并R、 G、 B三通 道的图像的边缘图， 得到视频帧的边缘图； S4， 获 得每一帧视频帧的内容依赖特征Mt1和每一幅边 缘图的边缘特征Mt2； S5， 获取每一帧视频帧的特 征Vt； S6， 将Vt输入到全连接层中进行降维处理， 获得质量特征qt； S7， 基于质量特征qt计算输入 视频的视频质量分数。 本发明在不同的数据集上 使用了不同的网络参数， 更好的拟合了不同数据 集中不同分辨率和帧数等信息。 对视频进行了预 处理， 更好地拟合人眼视觉系统。 本发明未用到 光流方法， 大 大减少了 计算量， 泛化能力较强。 权利要求书2页 说明书8页 附图3页 CN 114511454 A 2022.05.17 CN 114511454 A 1.一种边 缘加强的视频质量评估方法， 其特 征在于， 包括： S1， 分别对输入视频的每一帧视频帧进行拆分处理， 将视频帧拆分成R、 G、 B三通道的图 像； S2， 通过边缘检测算法对R、 G、 B三通道的图像进行边缘检测， 得到R、 G、 B三通道的图像 的边缘图； S3， 合并R、 G、 B三 通道的图像的边 缘图， 得到 视频帧的边 缘图； S4， 将输入视频的视频帧输入到预设的深度神经网络中， 获得每一帧视频帧的内容依 赖特征Mt1； 将视频帧对应的边缘图输入到预设的双流网络得到每一幅边缘图的边缘特征 Mt2； S5， 对S4得到的内容依赖特征和边缘特征分别进行全局平均池化和全局标准差池化降 维后通过合并函数 得到每一帧视频帧的特 征Vt,t表示视频帧的编号； S6， 将Vt输入到全连接层中进行降维处 理， 获得质量特 征qt； S7， 基于质量特 征qt计算输入视频的视频质量分数。 2.根据权利要求1所述的一种边缘加强的视频质量评估方法， 其特征在于， 所述S1包 括： 将每一视频帧由RGB图像F拆分为对应的R、 G、 B三 通道图F_R， F_G， F_B： F(x,y)＝F_B(x,y)+F_G(x,y)+F_R(x,y) 其中， F(x,y)表示F中坐标为(x,y)的像素点， F_B(x,y)、 F_G(x,y)、 F_R(x,y)分别表示 坐标为(x,y)的像素点的蓝、 绿、 红三 通道像素点的数值。 3.根据权利要求1所述的一种边缘加强的视频质量评估方法， 其特征在于， 所述S2包 括： 将转换后的三 通道图像利用Can ny算子进行转换， 得到每一视频帧的边 缘图： 首先分别对输入的三 通道图像进行高斯模糊处 理， 获得高斯模糊图像； 之后使用边缘检测Canny算子来检测高斯模糊图像的水平、 垂直和对角边缘， 返回水平 和垂直方向上的一阶导数值Gx和Gy， 以确定像素点的梯度G和方向θ； 接下来对像素点进行非极大值抑制， 将当前进行非极大值抑制的像素点的梯度强度与 沿正负梯度方向上的两个像素点进行比较， 如果当前进行非极大值抑制的像素点的梯度强 度大于沿正负梯度方向上的两个像素点的梯度强度， 则当前进行非极大值抑制的像素点保 留为可能存在的边 缘点， 否则该像素点将被抑制为非边 缘点； 之后利用双阈值确定最终的边 缘点， 由所有的边 缘点组成边 缘图。 4.根据权利要求1所述的一种边缘加强的视频质量评估方法， 其特征在于， 所述S3包 括： 通过合并视频帧的R、 G、 B三 通道边缘图即可 得视频帧的边 缘图： L(x,y)＝ L_B(x,y)+L_G(x,y)+L_R(x,y) 其中L(x,y)表示为最终视频帧的边缘图L坐标为(x,y)的像素点,L_B(x,y)， L_G(x,y)，权　利　要　求　书 1/2 页 2 CN 114511454 A 2L_R(x,y)分别表示B、 G、 R三通道图像经过Canny算子后得到的边缘图在(x,y)的像素点， 将 三通道的边 缘图重新 合并为RGB图像即得到边 缘图L。 5.根据权利要求1所述的一种边缘加强的视频质量评估方法， 其特征在于， 所述S5包 括： 对内容依赖特征和边缘特征分别进行全局平均池化GPmean和全局标准差池化GPstd降维 后通过合并函数Co ncat得到每一帧图像的特 征Vt 6.根据权利要求5所述的一种边缘加强的视频质量评估方法， 其特征在于， 所述S7包 括： 首先定义记 忆质量元 素xt为视频当前帧t的前τ 帧中质量 最差帧的分数； 其中Vpre＝{max(1,t ‑τ ),...,t ‑2,t‑1}， 表示前τ 帧的取值集合， qn表示第n帧 的帧质量, qk表示第k帧的帧质量； 定义当前质量元素yt， 使用加权质量分数给当前帧之后 τ 帧中质量较差的帧分配更多的 权重， 使用softmi n函数来确定 权重 其中Vnext＝{t,t+1,...,min(t+τ,T)}， 表示后 τ 帧 的取值集合， T表示一个视频序列中总 的视频帧数； 将记忆质量元素和当前质量元素进行线 性组合得到主观帧质量 分数q't， 最后对主观帧 质量分数 取平均值得到最终的视频质量分数Q： q't＝β xt+(1‑β )yt 其中， β 是一个平衡当前质量元素和记忆质量元素的超参数， 代表当前质量元素和记忆 质量元素对最终视频分数的影响大小。权　利　要　求　书 2/2 页 3 CN 114511454 A 3