(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111646609.2 (22)申请日 2021.12.3 0 (30)优先权数据 63/239,423 2021.09.01 US (71)申请人 鸿海精密工业股份有限公司 地址 中国台湾新北市土城区中山路6 6号 申请人 鸿富锦精密工业(深圳)有限公司 (72)发明人 栗永徽　黄启恩　 (74)专利代理 机构 北京派特恩知识产权代理有 限公司 1 1270 代理人 康艳青　王琳 (51)Int.Cl. G06T 3/40(2006.01) G06T 7/11(2017.01) G06V 10/25(2022.01)G06V 10/26(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 影像处理设备以及超解析处 理方法 (57)摘要 一种影像处理设备， 包括影像撷取电路以及 处理器。 影像撷取电路用以撷取高解析影像。 处 理器连接影像撷取电路， 并执行超解析模型以及 注意力模型， 其中处理器用以进行下列操作： 对 高解析影像执行下采样处理以产生低解析影像； 利用超解析模型对低解析影像进行超解析处理 以产生超解析影像； 将注意力模 型套用至高解析 影像以及超解析影像产生注意力加权高解析影 像以及注 意力加权超解析影像， 并依据注意力加 权高解析影像以及注意力加权超解析影像计算 第一损失； 以及依据第一损失更新该超解析模 型。 借此， 可提升超像素处理的效果， 并可对高解 析影像中的兴趣区进行增强， 进而提升高解析影 像中的兴趣区的超像素处 理的效果。 权利要求书3页 说明书8页 附图10页 CN 114283066 A 2022.04.05 CN 114283066 A 1.一种影 像处理设备， 其特 征在于， 包括： 影像撷取电路， 用以撷取高解析影 像； 处理器， 连接该影像撷取电路， 并执行超解析模型以及注意力模型， 其中该处理器用以 进行下列操作： 对该高解析影 像执行下采样处 理以产生低解析影 像； 利用该超解析模型对该低解析影 像进行超解析处 理以产生超解析影 像； 将该注意力模型套用至该高解析影像以及该超解析影像产生注意力加权高解析影像 以及注意力加权超解析影像， 并依据该注意力加权高解析影像以及该注意力加权超解析影 像计算第一损失； 以及 依据该第一损失更新该超解析模型。 2.根据权利要求1所述的影像处理设备， 其特征在于， 其中该处理器还用以进行下列操 作： 将该注意力模型套用至该高解析影像以及该超解析影像进行影像滤波处理以产生该 注意力加权高解析影像以及该注意力加权超解析影像， 其中该影像滤波处理为元素操作的 乘法运算、 元素操作的加法运 算、 元素操作的减法运 算或其组合。 3.根据权利要求1所述的影像处理设备， 其特征在于， 其中该注意力模型包括与至少一 影像遮罩对应的遮罩处 理模型， 且该处 理器还用以进行 下列操作： 利用该遮罩处理模型分别对该高解析影像以及该超解析影像进行影像滤波处理以产 生该注意力加权高解析影 像以及该注意力加权超解析影 像。 4.根据权利要求3所述的影像处理设备， 其特征在于， 其中该至少一影像遮罩对应于至 少一影像兴趣区， 且该处 理器还用以进行 下列操作： 依据该至少一影像兴趣区分别对该高解析影像以及该超解析影像进行元素操作的乘 法运算以产生该注意力加权高解析影像以及该注 意力加权超解析影像， 其中该注意力加权 高解析影像以及该注 意力加权超解析影像分别对应于该高解析影像以及该超解析影像； 以 及 依据该注意力加权高解析影像以及该注意力加权超解析影像执行距离函数运算以产 生该第一损失， 其中该距离函数运算为L1距离运算、 L2距离运算、 卡邦尼耶(Charb onnier) 距离运算或其组合。 5.根据权利要求3所述的影像处理设备， 其特征在于， 其中该至少一影像遮罩对应于至 少一权重集， 且该处 理器还用以进行 下列操作： 依据该至少一权重集分别对该高解析影像以及该超解析影像进行元素操作的乘法运 算以产生该注意力加权高解析影像以及该注意力加权超解析影像， 其中该注意力加权高解 析影像以及该注意力加权超解析影 像分别对应于该高解析影 像以及该超解析影 像； 以及 依据该注意力加权高解析影像以及该注意力加权超解析影像执行距离函数运算以产 生该第一损失， 其中该距离函数运算为L1距离运算、 L2距离运算、 卡邦尼耶(Charb onnier) 距离运算或其组合。 6.根据权利要求1所述的影像处理设备， 其特征在于， 其中该处理器还用以进行下列操 作： 利用该超解析模型依据该高解析影 像以及该超解析影 像计算第二损失； 以及权　利　要　求　书 1/3 页 2 CN 114283066 A 2依据该第一损失以及该第 二损失计算总和损失， 并依据 该总和损失对该超解析模型进 行反向传播 运算以产生更新后的该超解析模型。 7.一种超解析处 理方法， 其特 征在于， 包括： 撷取高解析影 像， 并对该高解析影 像执行下采样处 理以产生低解析影 像； 利用超解析模型对该低解析影 像进行超解析处 理以产生超解析影 像； 将注意力模型套用至该高解析影像以及该超解析影像产生注意力加权高解析影像以 及注意力加权超解析影像， 并依据该注意力加权高解析影像以及该注意力加权超解析影像 计算第一损失； 以及 依据该第一损失更新该超解析模型。 8.根据权利要求7所述的超解析处理方法， 其特征在于， 其中将该注意力模型套用至该 高解析影像以及该超解析影像产生该注意力加权高解析影像以及该注意力加权超解析影 像的步骤 包括： 将该注意力模型套用至该高解析影像以及该超解析影像进行影像滤波处理以产生该 注意力加权高解析影像以及该注意力加权超解析影像， 其中该影像滤波处理为元素操作的 乘法运算、 元素操作的加法运 算、 元素操作的减法运 算或其组合。 9.根据权利要求7所述的超解析处理方法， 其特征在于， 其中该注意力模型包括与至少 一影像遮罩对应的遮罩处理模型， 将该注意力模型套用至该高解析影像以及该超解析影像 产生该注意力加权高解析影 像以及该注意力加权超解析影 像的步骤 包括： 利用该遮罩处理模型分别对该高解析影像以及该超解析影像进行影像滤波处理以产 生该注意力加权高解析影 像以及该注意力加权超解析影 像。 10.根据权利要求9所述的超解析处理方法， 其特征在于， 其中该至少一影像遮罩对应 于至少一影像兴趣区， 其中将该注意力模型套用至该高解析影像以及该超解析影像产生该 注意力加权高解析影 像以及该注意力加权超解析影 像的步骤 包括： 依据该至少一影像兴趣区分别对该高解析影像以及该超解析影像进行元素操作的乘 法运算以产生该注意力加权高解析影像以及该注 意力加权超解析影像， 其中该注意力加权 高解析影 像以及该注意力加权超解析影 像分别对应于该高解析影 像以及该超解析影 像， 其中依据该注意力加权高解析影像以及该注意力加权超解析影像计算该第一损失的 步骤包括： 依据该注意力加权高解析影像以及该注意力加权超解析影像执行距离函数运算以产 生该第一损失， 其中该距离函数运算为L1距离运算、 L2距离运算、 卡邦尼耶(Charb onnier) 距离运算或其组合。 11.根据权利要求9所述的超解析处理方法， 其特征在于， 其中该至少一影像遮罩对应 于至少一权重集， 其中将该注意力模型套用至该高解析影像以及该超解析影像产生该注意 力加权高解析影 像以及该注意力加权超解析影 像的步骤 包括： 依据该至少一权重集分别对该高解析影像以及该超解析影像进行元素操作的乘法运 算以产生该注意力加权高解析影像以及该注意力加权超解析影像， 其中该注意力加权高解 析影像以及该注意力加权超解析影 像分别对应于该高解析影 像以及该超解析影 像， 其中依据该注意力加权高解析影像以及该注意力加权超解析影像计算该第一损失的 步骤包括：权　利　要　求　书 2/3 页 3 CN 114283066 A 3