(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210822284.7 (22)申请日 2022.07.12 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市拱 墅区潮王路 18号 (72)发明人 宣琦　周洁韵　宋栩杰　翔云　 (74)专利代理 机构 杭州天正专利事务所有限公 司 33201 专利代理师 孙家丰 (51)Int.Cl. G06T 3/00(2006.01) G06V 40/16(2022.01) G06T 7/194(2017.01) G06V 10/764(2022.01) G06V 10/80(2022.01) (54)发明名称 一种人像卡 通化方法、 系统及电子设备 (57)摘要 一种人像卡通化方法， 包括： 1)获取包含待 检测人员的图像数据； 2)将已获取的所述图像数 据输入至已完成训练的人脸预处理模型中； 3)预 处理后的人像数据在下采样前， 上采样后经过堆 叠的Hourglass模块， 以提取并结合不同尺度下 的特征信息， 渐进地提升人像卡通化模型特征抽 象和重建能力； 4)在标准化前先组合人像特征图 与卡通图特征图， 通过辅助分类器学习到的权重 来加权平均人像图特征和卡通图特征的统计量； 5)按AdaLIN方法进行反标准化对特征进行解码， 使得输出的卡通图能更好地保留原图的语义信 息； 6)引入特征差异损失函数Ldis， 使输出卡通图 与输入原始人像图的身份特征信息尽可能相似。 本发明还包括使用一种人像卡通化方法的系统 和电子设备。 权利要求书2页 说明书8页 附图2页 CN 115393176 A 2022.11.25 CN 115393176 A 1.一种人像卡 通化方法， 其特 征在于， 包括以下步骤： S1:获取包 含待检测人员的图像数据； S2： 将已获取的所述图像数据输入至已完成训练的人脸预处理模型中； 其中， 所述人脸 预处理模型依 次检测人脸及关键点， 根据关键点结合仿射变换校正人脸， 将关键点边界框 按固定的比例扩张 并裁剪出人脸区域， 使用人像分割模型去除背景； S3:预处理后的人像数据在下采样前， 上采样后经过堆叠 的Hourglass模块， 以提取并 结合不同尺度下的特 征信息， 渐进地 提升人像卡 通化模型特征抽象和重建能力； S4:在标准化前先组合人像特征图与卡通图特征图， 通过辅助分类器学习到的权重来 加权平均人像图特 征和卡通图特征的统计量； S5:按AdaLIN方法进行反标准化对特征进行解码， 使得输出的卡通图能更好地保留原 图的语义信息； S6:引入特征差异损失函数Ldis， 使输出卡通图与输入人像图的身份特征信息尽可 能相 似。 2.根据权利要求1所述的一种人像卡通化方法， 其特征在于： 步骤S1所述的获取包含待 检测人员的图像数据的步骤之前， 所述方法包括： S1.1： 判断待检测人员的获取区域中是否有人存在； S1.2： 如果有， 启动视频摄录设备获取视频 数据； 如果否， 停止 视频摄录设备的工作； S1.3： 将摄录 到的视频 数据逐帧转换为图像数据， 去除相似帧用于后续预处 理。 3.根据权利要求1所述的一种人像卡通化方法， 其特征在于： 步骤S3所述的堆叠的 Hourglas s模块： S3.1： 用于人体姿态检测的Hourglass模块能够在一个单一的统一结构中捕获全局和 局部特征。 Hourglass模块首先通过一系 列卷积和最大池化层对输入 特征进行向下采样 。 然 后通过一系列的上采样和卷积层将特征上采样回原始分辨率。 通过增加跳转层将在最大池 化层中丢失的细节带回上采样特 征中； S3.2： 采用四阶递归的Hourglass模块， 将一阶Hourglass模块中间的残差模块替换成 一个一阶Hourglass模块构成了二阶Hourglass模块， 将二阶Hourglass模块最中间的残差 模块替换成一个一阶Hourglass模块就构成了三阶Hourglass模块， 以此类推得到四阶递归 的Hourglas s模块； S3.3： 当多个Hourglass模块堆叠在网络中， Hourglass模块可以对特征进行再处理， 进 一步捕获更高级别的信息。 因此， 往UGATIT网络添加堆叠的Hourglass网络， 能够帮助模型 在局部和全局上 下文中提取 特征信息， 并将它 们组合在一 起输出预测。 4.根据权利要求1所述的一种人像卡通化方法， 其特征在于： 步骤S4所述的结合人像特 征图与卡 通图特征图： S4.1： 由堆叠的Hourgl ass网络， 两次下采样和四个残差模块一起构成的编码器编码特 征并提取 人像特征统计量 μo， σo； S4.2： 接着依次通过全局平均池化(GAP)， 辅助分类器(CAM)和多层感知器(MLP)， 输出 卡通图的特 征统计量 μc， σc； S4.3： 通过辅助分类器学习得到的权重wμ和wσ来加权平均人像图特征和卡通图特征的 统计量：权　利　要　求　书 1/2 页 2 CN 115393176 A 2其中， β 和γ由多层感知器(MLP)的全连接层动态计算得到， wμ和wσ分别是权重的均值和 方差。 5.根据权利要求1所述的一种人像卡通化方法5， 其特征在于： 步骤S5所述的按AdaLIN 方法进行反标准 化对特征进行解码： AdaLIN方法如下 所示： ρ←clip[0， 1]( ρ‑τΔρ )    (2) 其中， a是解码器 中四个残差模块提取的解码特征图， μI， μL， σI， σL分别是ch annel‑wise 和layer‑wise的均值和方差， τ是学习率， Δρ 是由网络优化器得到到底梯度， ρ 是限制在[0， 1]之间的值， 当ρ接近1时， Instance  Normalization占据更大比重， 当ρ接近0时， Layer   Normalization更为重要， ∈是防止除零的常数； 残差模块的初始化ρ 为1， 上采样模块初始 化ρ 为0。 6.根据权利要求1所述的一种人像卡通化方法， 其特征在于： 步骤S6所述的引入特征差 异损失函数： 为了使输出卡通图的身份特征信息与输入原始人像图尽可 能相似， 除了UGATIT本身的 对抗损失， 循环损失， 一致损失与CAM损失外， 特别地引入了一个新的特征差异损失函数； 具 体来说， 使用人脸识别模型 F来提取人脸的深度嵌入， 并最大化它 们的余弦相似度： Ldis(pI， pO)＝min(1， cos(F(pI)， F(pO)))    (3) 其中， cos是余弦相似度， pI和pO分别是输入原 始人像图和输出卡 通图。 7.一种人像卡 通化系统， 其特 征在于， 所述系统包括以下模块： 数据采集模块， 用于获取包 含待检测人员的图像数据； 特征提取模块， 将获取到的图像数据输入训练完成的人脸预处理模型后， 经过堆叠两 个四阶递归hourglass模 型， 提取并结合不同尺度下的特征信息， 然后通过下采样模型以及 四个残差块对特 征进行编码； 特征融合模块， 先融合人像图特征信息和卡通图特征信息， 后对特征进行解码进行反 标准化， 用到四 次AdaLIN操作使得输出的卡 通图能更好 地保留原图的语义信息； 特征重建模块， 与特征提取模块相对称， 分别经过四个残差块对特征进行解码， 然后通 过上采样模型和堆叠 两个四阶递归的hourglas s模型， 最终生成卡 通图。 8.一种电子设备， 其特 征在于， 所述电子设备包括： 处理器和存储装置； 存储装置上存储有计算机程序， 计算机程序在被处理器运行时实 现如权利要求1至 6任一项所述的人像卡 通化方法的步骤。权　利　要　求　书 2/2 页 3 CN 115393176 A 3