(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210593210.0 (22)申请日 2022.05.27 (71)申请人 深圳市皓丽软件 有限公司 地址 518000 广东省深圳市龙岗区坂田街 道岗头社区五和大道4023号1号楼第 二层F区 (72)发明人 毛光亮　戴彬　赖永伟　胡锋　 (74)专利代理 机构 深圳市精英专利事务所 44242 专利代理师 李珂 (51)Int.Cl. G06T 3/00(2006.01) G06V 40/20(2022.01) G06V 10/40(2022.01) G06V 10/80(2022.01)G06V 10/26(2022.01) G06V 10/82(2022.01) G06T 11/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于真实人物图像的虚拟试衣模型训练方 法、 虚拟试衣方法、 装置及设备 (57)摘要 本发明实施例公开了一种基于真实人物图 像的虚拟试衣模型训练方法、 虚拟试衣方法、 装 置及设备。 本发明涉及虚拟试衣技术领域， 该方 法包括： 基于二维原始衣服图像及二维真实人物 图像训练虚拟试衣模型， 其中， 虚拟试衣模型包 括特征金字塔网络、 外观流估计网络以及生成对 抗神经网络， 模型训练好之后， 获取用户选择的 二维真实人物图像及二维真实衣服图像； 对二维 真实人物 图像分别进行姿态估计及图像语义分 割以得到 人体姿态估计及人体穿衣区域； 将人体 姿势估计、 人体穿衣区域以及二维真实衣服图像 输入训练好的虚拟试衣模型， 依次通过特征提 取、 外观流估计以及合成处理后生成虚拟试衣图 像。 本发明实施例不仅可降低试衣成本， 而且试 衣效果真实自然。 权利要求书3页 说明书10页 附图3页 CN 114926324 A 2022.08.19 CN 114926324 A 1.一种基于真实人物图像的虚拟试衣 模型训练方法， 其特 征在于， 包括： 获取原始训练数据， 所述原始训练数据包括二维原始衣服图像和穿着相应衣服的二维 真实人物图像； 对所述二维真实人物图像进行姿势估计及标记得到人体姿势估计及人体穿衣区域； 将所述人体姿势估计、 所述人体穿衣区域以及所述二维原始衣服图像输入预设特征提 取网络进行 特征提取融合， 得到人体姿势特 征、 人体语义特征以及衣服特 征； 将所述二维原始衣服图像、 所述人体姿势特征、 所述人体语义特征以及所述衣服特征 输入外观流估计网络以获得外观流估计图； 将所述外观流估计图、 所述人体姿势估计以及所述人体穿衣区域输入生成对抗神经网 络以得到虚拟试衣图像； 根据所述虚拟试衣图像及所述二维真实人物图像对所述预设特征提取网络、 所述外观 流估计网络以及所述 生成对抗神经网络进行迭代训练以生成虚拟试衣 模型。 2.根据权利要求1所述的基于真实人物图像的虚拟试衣模型训练方法， 其特征在于， 所 述对所述二维真实人物图像进行姿势估计及标记得到人体姿势估计及人体穿衣区域， 包 括： 通过姿态检测模型对所述 二维真实人物图像进行姿势估计得到人体姿势估计； 对所述二维真实人物图像中的头发、 面部以及下半身衣服 区域进行标记得到人体穿衣 区域。 3.根据权利要求1所述的基于真实人物图像的虚拟试衣模型训练方法， 其特征在于， 所 述预设特征提取网络为特征金字塔网络， 所述将所述人体姿势估计、 所述人体穿衣区域以 及所述二维原始衣服图像输入预设特征提取网络进行特征提取融合， 得到人体姿势特征、 人体语义特征以及衣服特 征， 包括： 将所述人体姿势估计、 所述人体穿衣区域以及所述二维原始衣服图像输入特征金字塔 网络进行 特征提取得到多个姿势特 征、 多个人体特 征以及多个衣服特 征； 分别将所述多个姿势特征、 所述多个人体特征以及多个衣服特征进行融合， 得到人体 姿势特征、 人体语义特征以及衣服特 征。 4.根据权利要求1所述的方法， 其特征在于， 所述将所述二维原始衣服图像、 所述人体 姿势特征、 所述人体语义特征以及所述衣服特征输入外观流估计网络 以获得外观流估计 图， 包括： 将所述人体姿势特征、 所述人体语义特征以及所述衣服特征输入外观流估计网络以获 得外观流； 根据所述外观流对所述所述 二维原始衣服图像进行 形变以得到 外观流估计图。 5.根据权利要求1所述的基于真实人物图像的虚拟试衣模型训练方法， 其特征在于， 所 述根据所述虚拟试衣图像及所述二维真实人物图像对所述预设特征提取网络、 所述外观流 估计网络以及所述 生成对抗神经网络进行迭代训练以生成虚拟试衣 模型， 包括： 根据所述虚拟试衣图像及所述 二维真实人物图像通过 预设损失函数计算损失值； 若所述损失值不小于预设损失值且训练次数小于预设训练次数， 则对所述预设特征提 取网络、 所述外观流估计网络以及所述 生成对抗神经网络进行迭代训练； 若所述损失值小于所述预设损失值或所述训练次数不小于预设训练次数， 则将训练后权　利　要　求　书 1/3 页 2 CN 114926324 A 2的所述预设特征提取网络、 所述外观流估计网络以及所述生成对抗神经网络作为虚拟试衣 模型。 6.一种虚拟试衣方法， 其特 征在于， 包括： 获取用户选择的二维真实人物图像及二维真实衣服图像； 对所述二维真实人物图像分别进行姿态估计及图像语义分割以得到人体姿态估计及 人体穿衣区域； 将所述人体姿势估计、 所述人体穿衣区域以及所述二维真实衣服图像输入如权利要求 1‑5任一项所述的虚拟试衣模型， 依次通过特征提取、 外观流估计以及合 成处理后生 成虚拟 试衣图像。 7.根据权利要求6所述的方法， 其特征在于， 所述获取用户选择的二维真实人物图像及 二维真实衣服图像之前， 还 包括： 向用户展示包括有至少一张衣服图片的衣服选择界面； 在接收到用户选择二维真实衣服图像的触发指令之后， 向用户展示拍照引导信息， 以 便用户根据所述拍照引导信息进行拍照； 向用户展示包括有至少一张所述用户图片的相片选择界面； 接收用户选择的用户图片， 并将所述用户图片作为 二维真实人物图像。 8.一种基于真实人物图像的虚拟试衣 模型训练装置， 其特 征在于， 包括： 第一获取单元， 用于获取原始训练数据， 所述原始训练数据包括二维原始衣服图像和 穿着相应衣服的二维真实人物图像； 估计标记单元， 用于对所述二维真实人物图像进行姿势估计及标记得到人体姿势估计 及人体穿衣区域； 特征提取融合单元， 用于将所述人体姿势估计、 所述人体穿衣区域以及所述二维原始 衣服图像输入预设特征提取网络进行特征提取融合， 得到人体姿势特征、 人体语义特征以 及衣服特 征； 外观流估计单元， 用于将所述二维原始衣服图像、 所述人体姿势特征、 所述人体语义特 征以及所述衣服特 征输入外观流估计网络以获得外观流估计图； 第一生成单元， 用于将所述外观流估计图、 所述人体姿势估计以及所述人体穿衣区域 输入生成对抗神经网络以得到虚拟试衣图像； 训练单元， 用于根据 所述虚拟试衣图像及所述二维真实人物图像对所述预设特征提取 网络、 所述外观流估计网络 以及所述生成对抗神经网络进行迭代训练以生成虚拟试衣模 型。 9.一种虚拟试衣 装置， 其特 征在于， 包括： 第二获取 单元， 用于获取用户选择的二维真实人物图像及二维真实衣服图像； 估计分割单元， 用于对所述二维真实人物图像分别进行姿态估计及图像语义分割以得 到人体姿态估计及人体穿衣区域； 第二生成单元， 用于将所述人体姿势估计、 所述人体穿衣区域以及所述二维真实衣服 图像输入如权利要求 1‑5任一项所述的虚拟试衣模型， 依次通过特征提取、 外观流估计以及 合成处理后生成虚拟试衣图像。 10.一种计算机设备， 其特征在于， 所述计算机设备包括存储器及处理器， 所述存储器权　利　要　求　书 2/3 页 3 CN 114926324 A 3