(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111669721.8 (22)申请日 2021.12.31 (71)申请人 北京大甜绵白糖科技有限公司 地址 100080 北京市海淀区海淀北二 街10 号05层0505 (72)发明人 唐斯伟　郑程耀　吴文岩　钱晨　 (74)专利代理 机构 北京博思佳知识产权代理有 限公司 1 1415 代理人 靳玫 (51)Int.Cl. G06T 5/00(2006.01) G06T 7/11(2017.01) G06T 7/13(2017.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06V 10/774(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01) (54)发明名称 图像增强方法和装置、 存 储介质和电子设备 (57)摘要 本公开实施例提供一种图像增强方法和装 置、 存储介质和电子设备， 其中， 该方法可以包 括： 对待增强的目标图像进行特征提取， 得到所 述目标图像的外观信息， 所述目标图像中包括第 一对象； 所述外观信息表示目标图像中的表面视 觉特征； 获取第二对象的结构信息， 所述第一对 象和第二对象为同种类的目标对象； 所述结构信 息表示所述第二对象 的轮廓特征； 基于所述外观 信息和结构信息生成增强图像， 所述增强图像包 括所述外观信息、 以及具有所述结构信息的目标 对象。 本公开实施例不仅使 得生成的图像质量较 高， 而且降低了样本获取的成本 。 权利要求书2页 说明书12页 附图4页 CN 114331906 A 2022.04.12 CN 114331906 A 1.一种图像增强方法， 其特 征在于， 所述方法包括： 对待增强的目标图像进行特征提取， 得到所述目标图像的外观信息， 所述目标图像中 包括第一对象； 所述外观信息表示目标图像中的表面视 觉特征； 获取第二对象的结构信息， 所述第一对象和第二对象为同种类的目标对象； 所述结构 信息表示所述第二对象的轮廓特 征； 基于所述外观信息和结构信息生成增强图像， 所述增强图像包括所述外观信息、 以及 具有所述结构信息的目标对象。 2.根据权利要求1所述的方法， 其特征在于， 所述方法由图像增强装置执行， 所述图像 增强装置中部署有图像增强网络， 所述图像增强网络包括： 外观提取器和生成器； 所述对待增强的目标图像进行特征提取， 得到所述目标图像的外观信 息， 包括： 通过所 述图像增强网络中的外观提取器对待增强的目标图像进行特征提取， 得到所述目标图像的 外观信息； 所述基于所述外观信息和结构信息生成增强图像， 包括： 通过所述图像增强网络中的 生成器基于所述外观信息和结构信息生成增强图像。 3.根据权利要求1所述的方法， 其特 征在于， 所述获取第二对象的结构信息， 包括： 获取初始图像， 所述初始图像中包括所述第二对象； 对所述初始图像进行关键点检测， 得到所述初始图像中第二对象的关键点； 根据所述第二对象的关键点， 得到所述第二对象的结构信息 。 4.根据权利要求1所述的方法， 其特征在于， 所述第二对象包括在辅助图像中； 所述方 法还包括： 获取初始图像， 所述初始图像中包括所述目标对象； 对所述初始图像进行关键点检测， 得到所述初始图像中目标对象的关键点； 根据所述目标对象的关键点对所述初始图像进行裁剪， 得到包括所述目标对象的所述 目标图像或者所述辅助图像。 5.根据权利要求4所述的方法， 其特征在于， 所述方法还包括： 在所述基于所述外观信 息和结构信息生成增强图像之后， 将所述增强图像替换 所述初始图像中的对应图像部分。 6.根据权利要求1所述的方法， 其特征在于， 所述第 一对象和第 二对象是同一个目标对 象， 或者是同种类的不同目标对象， 所述目标对象是 人脸中的五官之一。 7.一种图像增强网络的训练方法， 其特 征在于， 所述方法包括： 获取待增强的样本图像以及第 二对象的结构信 息， 第一对象和第 二对象是具有不同结 构信息的同一 目标对象； 所述样本图像中包括第一对 象； 所述结构信息表示所述第二对 象 的轮廓特 征； 通过图像增强网络对待增强的样本图像进行特征提取， 得到所述样本图像的外观信 息,所述外观信息表示目标图像中的表面视 觉特征； 通过所述图像增强网络对所述外观信 息和结构信 息进行图像生成处理， 输出样本增强 图像， 其中， 所述样本增强图像包括所述外观信息、 以及具有所述结构信息的所述目标对 象； 根据所述样本增强图像， 调整所述图像增强网络的网络参数。 8.根据权利要求7所述的训练方法， 其特征在于， 所述第二对象包括在辅助图像中； 所权　利　要　求　书 1/2 页 2 CN 114331906 A 2述根据所述样本增强图像， 调整所述图像增强网络的网络参数， 包括： 根据所述样本增强图像和所述辅助图像之间的差异， 调整外观提取器和生成器的网络 参数； 所述图像增强网络包括： 所述外观提取器和生成器。 9.根据权利要求7所述的训练方法， 其特征在于， 所述第二对象包括在辅助图像中； 所 述图像增强网络包括： 外观提取器和生成器； 所述根据所述样本增强图像， 调整所述图像增强网络的网络参数， 包括： 将所述样本增强图像输入判别器， 得到所述判别器输出的判别值； 根据所述判别值与判别真值之间的差异得到第 一损失， 并根据 所述样本增强图像和所 述辅助图像之间的差异得到第二损失； 根据所述第一损 失和第二损 失， 调整所述外观提取器、 生成器和判别器中至少一个的 网络参数。 10.一种图像增强装置， 其特 征在于， 所述装置包括： 外观提取模块， 用于对待增强的目标图像进行特征提取， 得到所述目标图像的外观信 息， 所述目标图像中包括第一对象； 所述外观信息表示目标图像中的表面视 觉特征； 结构获取模块， 用于获取第二对象的结构信息， 所述第一对象和第二对象为同种类的 目标对象； 所述结构信息表示所述第二对象的轮廓特 征； 图像生成模块， 用于基于所述外观信息和结构信息生成增强图像， 所述增强图像包括 所述外观信息、 以及具有所述结构信息的目标对象。 11.一种图像增强网络的训练装置， 其特 征在于， 所述装置包括： 信息获取模块， 用于获取待增强的样本 图像以及第二对象的结构信息， 第一对象和第 二对象是具有不同结构信息的同一 目标对象； 所述样本图像中包括第一对 象； 所述结构信 息表示所述第二对象的轮廓特 征； 特征提取模块， 用于通过图像增强网络对待增强的样本 图像进行特征提取， 得到所述 样本图像的外观信息,所述外观信息表示目标图像中的表面视 觉特征； 图像输出模块， 用于通过所述图像增强网络对所述外观信 息和结构信 息进行图像生成 处理， 输出样本增强 图像， 其中， 所述样本增强图像包括所述外观信息、 以及具有所述结构 信息的所述目标对象； 参数调整模块， 用于根据所述样本增强图像， 调整所述图像增强网络的网络参数。 12.一种电子设备， 其特征在于， 包括： 存储器、 处理器， 所述存储器用于存储计算机可 读指令， 所述处理器用于调用所述计算机指 令， 实现权利要求 1至6任一所述的方法， 或者权 利要求7至9任一所述的方法。 13.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述程序被处理 器执行时实现权利要求1至 6任一所述的方法， 或者权利要求7至9任一所述的方法。权　利　要　求　书 2/2 页 3 CN 114331906 A 3