(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211055003.6 (22)申请日 2022.08.31 (71)申请人 厦门黑镜科技有限公司 地址 361000 福建省厦门市 火炬高新区软 件园一期曾厝垵北路7号通汇楼603- 01 (72)发明人 程平　吴松城　 (74)专利代理 机构 北京三聚阳光知识产权代理 有限公司 1 1250 专利代理师 张琳琳 (51)Int.Cl. G06T 3/00(2006.01) G06V 40/16(2022.01) G06N 20/00(2019.01) (54)发明名称 美漫风格的头像生 成模型的训练、 生 成方法 及电子设备 (57)摘要 本发明涉及图像处理技术领域， 具体涉及美 漫风格的头像生成模型的训练、 生成方法及电子 设备， 训练方法包括获取样本图像对， 样本图像 对包括真实头像以及对应的卡通头像； 将真实头 像输入头像生成模型的特征编码模块中， 确定特 征编码； 将特征编码输入头像生成模 型的头像风 格生成模块中， 确定预测卡通头像， 头像风格生 成模块是预训练得到的； 检测卡通头像与预测卡 通头像的人脸关键点， 并确定人脸关键点损失； 基于卡通头像与预设卡通头像的差异， 确定图像 转换损失； 根据人脸关键点损失与图像转换损失 的融合结果， 对特征编码模块的参数进行更新， 以确定目标头像生成模型。 该方法增加了目标一 致性的考察维度， 在图像转换中， 更快的收敛到 目标效果。 权利要求书2页 说明书10页 附图5页 CN 115393181 A 2022.11.25 CN 115393181 A 1.一种美漫风格的头像生成模型的训练方法， 其特 征在于， 包括： 获取样本图像对， 所述样本图像对 包括真实头像以及对应的卡 通头像； 将所述真实头像输入头像生成模型的特 征编码模块中， 确定特 征编码； 将所述特征编码输入所述头像生成模型的头像风格生成模块中， 确定预测卡通头像， 所述头像风格生成模块是 预训练得到的； 检测所述 卡通头像与所述预测卡 通头像的人脸关键点， 并确定人脸关键点损失； 基于所述 卡通头像与所述预设卡 通头像的差异， 确定图像转换损失； 根据所述人脸关键点损失与 所述图像转换损失的融合结果， 对所述特征编码模块的参 数进行更新， 以确定目标头像生成模型。 2.根据权利要求1所述的训练方法， 其特征在于， 所述根据 所述人脸关键点损失与 所述 图像转换损失的融合结果， 对所述特征编码模块的参数进行更新， 以确定目标头像生成模 型， 包括： 获取多组权重组合， 所述权重组合中包括与所述人脸关键点损失与 所述图像转换损失 一一对应的权 重； 对于各个所述权重组合， 对所述人脸关键点损 失与所述图像转换损 失进行融合， 得到 对应的综合损失； 利用所述综合损失对所述特 征编码模块的参数进行 更新， 得到可选 头像生成模型； 基于所述可选头像生成模型的训练效果， 从所述可选头像生成模型中确定所述目标头 像生成模型， 所述训练效果包括训练 时长以及所述可选头像生成模型的精准度中的至少一 种。 3.根据权利要求2所述的训练方法， 其特 征在于， 所述获取多组权 重组合， 包括： 获取各个所述权 重的取值范围； 基于所述取值范围生成所述权 重的取值， 以得到所述多组权 重组合。 4.根据权利要求1所述的训练方法， 其特征在于， 所述基于所述卡通头像与 所述预设卡 通头像的差异， 确定图像转换损失， 包括： 分别对所述卡通头像以及所述预设卡通头像进行人脸特征提取， 得到第 一人脸特征与 第二人脸特 征； 基于所述第一人脸特 征以及所述第二人脸特 征进行损失计算， 确定特 征损失； 基于所述卡通头像与所述预设卡通头像， 分别计算像素损 失以及感知损 失， 所述图像 转换损失包括所述特 征损失、 所述像素损失以及所述感知损失。 5.根据权利要求1所述的训练方法， 其特征在于， 所述特征编码模块是基于特征金字塔 网络构建的， 所述将所述真实头像输入头像生 成模型的特征编 码模块中， 确定特征编 码， 包 括： 将所述真实头像输入所述特征编码模块中， 提取多个金字塔尺度的特征向量， 以确定 所述特征编码。 6.根据权利要求5所述的训练方法， 其特征在于， 所述将所述特征编码输入所述头像生 成模型的头像风格生成模块中， 确定预测卡 通头像， 包括： 基于所述特征编码中各特征向量的金字塔尺度， 将所述特征向量输入所述头像风格生 成模块的对应网络层中进行图像重建， 确定所述预测卡 通头像。权　利　要　求　书 1/2 页 2 CN 115393181 A 27.一种美漫风格的头像生成方法， 其特 征在于， 包括： 获取待处 理人脸图像； 将所述待处理人脸图像输入目标头像生成模型中， 得到目标卡通头像， 所述目标头像 生成模型是根据权利要求 1‑6中任一项 所述的美漫风格的头像生成模型的训练方法训练得 到的。 8.根据权利要求7 所述的方法， 其特 征在于， 所述获取待处 理人脸图像， 包括： 获取包含人脸的待处 理图像； 对所述待处 理图像进行 人脸检测得到人脸图像； 基于所述人脸图像进行 人脸对齐及归一 化处理， 确定所述待处 理人脸图像。 9.一种电子设备， 其特 征在于， 包括： 存储器和 处理器， 所述存储器和所述处理器之间互相通信连接， 所述存储器中存储有 计算机指 令， 所述处理器通过执行所述计算机指 令， 从而执行权利要求 1‑6中任一项 所述的 美漫风格的头像生成模型的训练方法， 或， 执行权利要求7或8所述的美漫风格的头像生成 方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机指 令， 所述计算机指令用于使计算机执行权利要求1 ‑6中任一项所述的美漫风格的头像生成 模型的训练方法， 或， 执 行权利要求7或8所述的美漫风格的头像生成方法。权　利　要　求　书 2/2 页 3 CN 115393181 A 3