(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210930886.4 (22)申请日 2022.08.04 (71)申请人 北京乐信圣文科技有限责任公司 地址 100192 北京市海淀区西小口路6 6号 中关村东升科技园 ·北领地D-1楼2层 201室 (72)发明人 刘祎玮　徐舒畅　 (74)专利代理 机构 北京金咨知识产权代理有限 公司 11612 专利代理师 王紫腾 (51)Int.Cl. G06T 11/00(2006.01) G06T 3/00(2006.01) G06T 7/90(2017.01) G06V 10/32(2022.01)G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种针对 人脸线条图片的参考性上色方法、 系统、 装置及存 储介质 (57)摘要 本发明提供一种针对人脸线条图片的参考 性上色方法、 系统、 装置及存储介质， 所述方法步 骤包括： 图像预处理， 接收待处理线条图像和参 考彩色图像， 将待处理线条图像和参考彩色图像 处理为相同尺寸的图像； 特征提取， 将待处理线 条图像输入线条编码器模块， 得到线条特征图； 将参考彩色图像输入参考编码器模块， 得到参考 特征图； 特征融合， 将线条特征图和参考特征图 输入到预设的特征融合模块， 由特征融合模块的 基于ResNet的残差层输出融合特征图； 特征解 码， 将融合特征图输入到预设的解码器模块中， 输出目标图片。 本方案不需要工作人员付出大量 成本， 且本申请的上色方式， 根据参考彩色图像 的风格， 对相同的线条图像完成不同风格的上 色， 提高上色的灵活性。 权利要求书2页 说明书8页 附图4页 CN 115423887 A 2022.12.02 CN 115423887 A 1.一种针对人脸线条图片的参 考性上色方法， 其特 征在于， 所述方法的步骤 包括： 图像预处理， 接收待处理线条图像和参考彩色图像， 将待处理线条图像和参考彩色图 像处理为相同尺寸的图像； 特征提取， 将待处理线条图像输入预设的线条编码器模块， 得到线条特征图； 将参考彩 色图像输入预设的参 考编码器模块， 得到参 考特征图； 特征融合， 将线条特征图和参考特征图输入到预设的特征融合模块， 由特征融合模块 基于ResNet的残差层输出融合特 征图； 特征解码， 将所述融合特 征图输入到预设的解码器模块中， 输出目标图片。 2.根据权利要求1所述的针对人脸线条图片的参考性上色方法， 其特征在于， 将待处理 线条图像和参 考彩色图像处 理为相同尺寸的图像的步骤 包括， 将待处理线条图像和参 考彩色图像处 理为预定尺寸的相同大小； 对参考彩色图像进行TP S变形处理。 3.根据权利要求1所述的针对人脸线条图片的参考性上色方法， 其特征在于， 所述线条 编码器模块和 参考编码器模块结构相同， 均由多个结构相同的卷积子模块构成， 每个卷积 子模块均包括卷积层、 批量归一 化层和激活层。 4.根据权利要求1所述的针对人脸线条图片的参考性上色方法， 其特征在于， 所述特征 融合模块包括顺序连接的全局均值池化层、 Sigmoid激活函数层、 自适应实例 归一化层、 注 意力机制层和基于ResNet的残差层。 5.根据权利要求4所述的针对人脸线条图片的参考性上色方法， 其特征在于， 在自适应 实例归一化层的处理步骤中， 首先将线条特征图的特征值减去线条特征图特征值的均值， 然后除以线条特征图特征值的方差， 再乘以参考特征图特征值的方差， 再加上参考特征图 特征值的均值。 6.根据权利要求1 ‑5任一项所述的针对人脸线条图片的参考性上色方法， 其特征在于， 所述方法的神经网络模型包括编 码器模块、 参考编 码器模块、 特征融合模块和解码 器模块， 所述方法的步骤还包括对神经网络模型进行训练， 所述训练包括图像上色训练， 所述图像 上色训练的步骤 包括： 获取训练图组， 所述训练图组中包括待处 理线条图像、 参 考彩色图像和真实上色图； 将待处理线条图像和参考彩色图像进行上述图像预处理、 特征提取、 特征融合和特征 解码的步骤， 得到目标图像， 基于目标图像和真实上色图计算第一损失函数， 基于第一损失 函数值利用反向传播法更新神经网络模型的参数。 7.根据权利要求6所述的针对人脸线条图片的参考性上色方法， 其特征在于， 所述训练 包括特征对齐训练， 所述特 征对齐训练的步骤 包括： 接收待处理线条图像和参考彩色图像， 将待处理线条图像和参考彩色图像处理为相同 尺寸的图像， 记录进行TPS变形处理后的参考彩色图像和未TPS变形处理的参考彩色图像， 将待处理线条图像和进行TPS变形处理后的参考彩色图像作为第一图像组， 将待处理线条 图像和未TPS变形处理的参考彩色图像作为第二图像组， 将第一图像组和第二图像组分别 进行特征提取步骤和特征融合步骤， 分别得到对应第一图像组和 第二图像组的第一融合特 征图和第二融合特征图， 基于第一融合特征图和第二融合特征图计算第二损失函数， 基于 第二损失函数值利用反向传播法更新神经网络模型的参数。权　利　要　求　书 1/2 页 2 CN 115423887 A 28.一种针对人脸线条图片的参 考性上色系统， 其特 征在于， 所述系统包括： 图像预处理模块， 用于接收待处理线条图像和参考彩色图像， 将待处理线条图像和参 考彩色图像处 理为相同尺寸的图像； 特征提取模块， 用于将待处理线条图像输入预设的线条编码器模块， 得到线条特征图； 将参考彩色图像输入预设的参 考编码器模块， 得到参 考特征图； 特征融合模块， 用于将线条特征图和参考特征图输入到预设的特征融合模块， 由特征 融合模块基于ResNet的残差层输出融合特 征图； 特征解码模块， 用于将所述融合特 征图输入到预设的解码器模块中， 输出目标图片。 9.一种针对人脸线条图片的参考性上色装置， 其特征在于， 该装置包括计算机设备， 所 述计算机设备包括处理器和存储器， 所述存储器中存储有计算机指令， 所述处理器用于执 行所述存储器中存储的计算机指令， 当所述计算机指 令被处理器执行时该装置实现如权利 要求1‑7任一项所述方法所实现的步骤。 10.一种计算机可读存储介质， 其特征在于， 其上存储有计算机程序， 该计算机程序被 处理器执行时以实现如权利要求1 ‑7任一项所述方法所实现的步骤。权　利　要　求　书 2/2 页 3 CN 115423887 A 3