(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111663744.8 (22)申请日 2021.12.31 (65)同一申请的已公布的文献号 申请公布号 CN 114331902 A (43)申请公布日 2022.04.12 (73)专利权人 英特灵达信息技 术 （深圳） 有限公 司 地址 518101 广东省深圳市宝安区新 安街 道海旺社区N12区新湖路99号壹方中 心北区三期B塔15 06 专利权人 合肥英特灵 达信息技 术有限公司 (72)发明人 王林　周晓　朱才志　汝佩哲　 孙耀晖　(74)专利代理 机构 北京柏杉松知识产权代理事 务所(普通 合伙) 11413 专利代理师 马敬　项京 (51)Int.Cl. G06T 5/00(2006.01) G06T 5/50(2006.01) (56)对比文件 CN 108986 047 A,2018.12.1 1 CN 106910247 A,2017.0 6.30 US 2019026 600 A1,2019.01.24 审查员 柳倩 (54)发明名称 一种降噪方法、 装置、 电子设备及 介质 (57)摘要 本申请实施例提供了一种降噪方法、 装置、 电子设备及介质， 涉及图像处理技术领域， 该方 法包括： 将待处理图像输入图像降噪模型， 图像 降噪模型为基于预设训练集对卷积神经网络模 型训练得到的模 型， 预设训练集中包括多组标注 数据以及每组标注数据对应的样本数据； 其中， 一组标注数据包括对一张基准无噪声图像进行 模拟运动处理后得到的多张无噪声图像， 该组标 注数据对应的样本数据包括对多张无噪声图像 分别叠加噪声后得到的 图像； 获取图像降噪模型 输出的降噪后的图像数据； 将图像数据转换为图 像， 得到待处理图像对应的降噪后的图像。 可 以 有效避免降噪后的图像存在重 影的问题。 权利要求书4页 说明书15页 附图8页 CN 114331902 B 2022.09.16 CN 114331902 B 1.一种降噪方法， 其特 征在于， 包括： 将待处理图像输入图像降噪模型， 所述图像降噪模型为基于预设训练集对卷积神经网 络模型训练得到的模型， 所述预设训练集中包括多组标注数据以及每组标注数据对应的样 本数据； 其中， 一组标注数据包括对一张基准无噪声图像进行模拟运动处理后得到的多张 无噪声图像， 该组标注数据对应的样本数据包括对所述多张无噪声图像分别叠加噪声后得 到的图像； 获取所述图像降噪模型输出的降噪后的图像数据； 将所述图像数据转换为图像， 得到所述待处 理图像对应的降噪后的图像； 所述图像降噪模型通过以下步骤训练得到： 将所述预设训练集包括的一组样本数据中的第 一帧图像与自身进行拼接后， 将拼接后 的图像输入所述卷积神经网络模型， 依次由所述神经网络模型包括的第一卷积网络和 第二 卷积网络处 理拼接后的图像； 获取所述第一卷积网络输出的中间降噪图像和所述第二卷积网络输出的最终降噪图 像； 基于所述 最终降噪图像与所述第一帧图像 计算损失函数值； 根据所述损失函数值判断所述卷积神经网络模型 是否收敛； 若未收敛， 则基于所述损 失函数值调整所述卷积神经网络模型的参数， 并将所述一组 样本数据中的下一帧图像与所述第一卷积网络最近一次输出的中间降噪图像进行拼接， 返 回所述将拼接后的图像输入所述卷积神经网络模型的步骤， 直至所述卷积神经网络模型收 敛时， 则将训练得到的卷积神经网络模型作为所述图像降噪模型。 2.根据权利要求1所述的方法， 其特 征在于， 所述预设训练集 通过以下步骤得到： 采集多张基准无噪声图像； 针对每张基准无 噪声图像， 从该基准无 噪声图像截取多张形状相同、 面积相同、 具有重 叠区域且不完全相同的图像， 将截取 出的图像作为 一组标注数据； 对每组标注数据包括的多张图像分别叠加噪声， 得到每组标注数据对应的样本数据； 将得到的多组标注数据以及每组标注数据对应的样本数据生成所述预设训练集。 3.根据权利要求1所述的方法， 其特 征在于， 所述预设训练集 通过以下步骤得到： 采集多张基准无噪声图像； 每次从所述多张基准无噪声图像中选择两张图像分别作为前 景图像和背景图像； 按照第一指定形状和第一指定尺寸裁 剪所述背景图像； 按照所述第 一指定形状和第 二指定尺寸裁剪所述前景图像， 对裁剪后的前景图像进行 掩膜处理， 得到第二指定形状的前 景图像； 将所述第二指定形状的前景图像叠加在裁剪后的背景图像上的起始位置， 将所述第 二 指定的前景图像在所述背 景图像上按照预设速度朝预设方向平移， 将平移过程中的多个时 刻的图像作为 一组标注数据； 对每组标注数据包括的多张图像分别叠加噪声， 得到每组标注数据对应的样本数据； 将得到的多组标注数据以及每组标注数据对应的样本数据生成所述预设训练集。 4.根据权利要求2所述的方法， 其特征在于， 在所述将得到的多组标注数据以及每组标 注数据对应的样本数据生成所述预设训练集之前， 所述方法还 包括：权　利　要　求　书 1/4 页 2 CN 114331902 B 2每次从所述多张基准无噪声图像中选择两张图像分别作为前 景图像和背景图像； 按照第一指定形状和第一指定尺寸裁 剪所述背景图像； 按照所述第 一指定形状和第 二指定尺寸裁剪所述前景图像， 对裁剪后的前景图像进行 掩膜处理， 得到第二指定形状的前 景图像， 所述第二指定尺寸小于所述第一指定尺寸； 将所述第二指定形状的前景图像叠加在背景图像上的起始位置， 将所述第 二指定形状 的前景图像在所述背 景图像上按照预设速度朝预设方向平移， 采集平移过程中多个时刻的 图像作为 一组标注数据。 5.根据权利要求2所述的方法， 其特征在于， 所述针对每张基准无噪声图像， 从该基准 无噪声图像截取多张形状相同、 面积相同、 具有重叠区域且不完全相同的图像， 将截取出的 图像作为 一组标注数据， 包括： 针对每张基准无 噪声图像， 从该基准无 噪声图像中随机选择一个位置作为起始裁剪坐 标； 在所述基准无噪声图像的起始裁剪坐标处裁剪指定边长的正方形， 作为一张裁剪图 像； 将所述起始裁剪坐标进行随机偏移， 得到下一个裁剪坐标， 在所述基准无噪声图像的 下一个裁 剪坐标处裁 剪所述指定边长的正方 形， 作为一张裁剪图像； 每对裁剪坐标进行一次随机偏移， 从所述基准无噪声图像中裁剪出一张裁剪 图像， 直 至得到预设数量的裁 剪图像， 将所述预设数量的裁 剪图像作为 一组标注数据。 6.根据权利要求2或3所述的方法， 其特 征在于， 所述采集多张基准无噪声图像， 包括： 采集感光度被设置为 最低值的拍摄设备拍摄到的多张静态RAW图像； 针对每张静态RAW 图像， 将该静态RAW 图像分别处理为不同的亮度值， 得到多张基准无 噪声图像。 7.一种降噪装置， 其特 征在于， 包括： 第一输入模块， 用于将待处理图像输入图像降噪模型， 所述图像降噪模型为基于预设 训练集对卷积神经网络模型训练得到的模型， 所述预设训练集中包括多组标注数据以及每 组标注数据对应的样本数据； 其中， 一组标注数据包括对一张基准无噪声图像进行模拟运 动处理后得到的多张无噪声图像， 该组标注数据对应的样本数据包括对所述多张无噪声图 像分别叠加噪声后得到的图像； 第一获取模块， 用于获取 所述图像降噪模型输出的降噪后的图像数据； 转换模块， 用于将所述图像数据转换为图像， 得到所述待处理图像对应的降噪后的图 像； 所述装置还 包括： 第二输入模块， 用于将所述预设训练集包括的一组样本数据中的第 一帧图像与自身进 行拼接后， 将拼接后的图像输入所述卷积神经网络模型， 依 次由所述神经网络模型包括的 第一卷积网络和第二卷积网络处 理拼接后的图像； 第二获取模块， 用于获取所述第 一卷积网络输出的中间降噪图像和所述第 二卷积网络 输出的最终降噪图像； 计算模块， 用于基于所述 最终降噪图像与所述第一帧图像 计算损失函数值； 判断模块， 用于根据 所述损失函数值判断所述卷积神经网络模型是否收敛； 若未收敛，权　利　要　求　书 2/4 页 3 CN 114331902 B 3