(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111642974.6 (22)申请日 2021.12.2 9 (66)本国优先权数据 202111302048.4 2021.1 1.04 CN (71)申请人 腾讯科技 （深圳） 有限公司 地址 518000 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 肖钦杰　葛诚　蒋心为　金小刚　 章瀚元　 (74)专利代理 机构 北京市立方律师事务所 11330 代理人 张筱宁 (51)Int.Cl. G06V 10/774(2022.01) G06T 7/194(2017.01)G06T 5/30(2006.01) G06T 5/50(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 图像处理方法、 装置、 电子设备、 存储介质及 计算机产品 (57)摘要 本申请实施例公开了一种图像处理方法、 装 置、 电子设备、 存储介质及计算机产品， 涉及多 媒 体、 游戏、 人工智能和云技术领域。 该方法包括： 获取多个图像对， 每个图像对包括于同一场景下 采集的、 对应于同一目标对象的同一目标部位的 两张图像， 其中， 目标部位在两张图像中的颜色 信息不同； 确定每个图像对中的两张图像之间的 差分图像， 并确定该差分图像的三分图； 基于各 图像对以及各图像对对应的三分图， 构建训练数 据集， 训练数据集中的每个第一样 本数据包括一 个图像对中的目标图像和该图像对对应的三分 图， 目标图像为图像对中的任一图像。 基于本申 请实施例提供的方法， 能够为神经网络模型的训 练提供更加丰富、 训练效果更好的训练数据集。 权利要求书3页 说明书21页 附图4页 CN 114120068 A 2022.03.01 CN 114120068 A 1.一种图像处 理方法， 其特 征在于， 包括： 获取多个图像对， 每个所述图像对包括于同一场景下采集的、 对应于同一目标对象的 同一目标部位的两张图像， 其中， 所述目标部位在两张图像中的颜色信息不同； 确定每个所述图像对中的两张图像之间的差分图像， 并确定该差分图像的三分图； 基于各所述图像对以及各所述图像对对应的三分图， 构建训练数据集， 其中， 所述训练 数据集中包括多个第一样本数据， 每个所述第一样本数据包括一个所述图像对中的目标图 像和该图像对 对应的三分图， 所述目标图像为所述图像对中的任一图像。 2.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 确定各所述第一样本数据对应的前 景蒙版； 其中， 所述训练数据集中还 包括各所述第一样本数据对应的前 景蒙版。 3.根据权利要求2所述的方法， 其特征在于， 所述确定各所述第 一样本数据对应的前景 蒙版， 包括： 获取初始数据集， 所述初始数据集包括多个第二样本数据， 每个所述第二样本数据包 括所述目标部位的样本图像、 该样本图像的三分图和该样本图像的真实前 景蒙版； 基于所述初始数据集执行至少一 次以下训练操作， 通过最后 一次操作得到的第 二模型 预测得到各第一样本数据对应的前 景蒙版： 基于所述初始数据集对初始神经网络模型进行训练， 得到第 一模型， 其中， 所述神经网 络模型的输入包括一个样本图像和该样本图像的三分图， 输出为预测得到的该样本图像的 前景蒙版； 通过所述第一模型 预测各所述第一样本数据对应的前 景蒙版； 将各所述第 一样本数据对应的前景蒙版作为真实前景蒙版， 采用所述多个第 一样本数 据中的至少部分样本数据和该部分样本数据对应的前景蒙版， 对所述初始数据集进行扩 充， 得到中间数据集； 基于所述中间数据集对所述第一模型进行训练， 得到第二模型， 将所述第二模型作为 下一次训练操作时的初始神经网络模型， 将所述中间数据集作为下一次训练操作时的初始 数据集。 4.根据权利要求3所述的方法， 其特征在于， 所述初始数据集中包括通过图像渲染方式 构建的合成数据集； 所述训练数据集包括所述初始数据集。 5.根据权利要求1所述的方法， 其特 征在于， 所述目标部位 为所述目标对象的睫毛。 6.根据权利要求1所述的方法， 其特征在于， 所述目标部位在每个所述图像对的两张图 像中的颜色信息的不同， 是在采集所述图像对时通过颜色显示控制设备的控制实现的。 7.根据权利要求6所述的方法， 其特征在于， 在采集所述图像对时， 所述目标部位上涂 有隐形荧光剂， 所述颜色显示控制设备开启时产生指定光源， 所述隐形荧光剂在所述指定 光源的照射下显色。 8.根据权利要求1所述的方法， 其特征在于， 所述确定每个所述图像对中的两张图像之 间的差分图像， 包括： 确定每个所述图像对中两张图像之间的光 流信息； 对于每个所述图像对， 基于该图像对对应的光流信 息对该图像对中的任一图像进行调 整， 确定该调整后的图像和该图像对中的另一图像之间的差分图像。权　利　要　求　书 1/3 页 2 CN 114120068 A 29.根据权利要求1至8中任一项所述的方法， 其特征在于， 每个所述图像对中包括所述 目标部位的颜色是该部位的原色时所采集的一张图像， 所述目标图像为图像对中对应于该 原色的图像。 10.根据权利要求1至8中任一项所述的方法， 其特 征在于， 所述获取多个图像对， 包括： 在同一场景下， 通过多视角图像采集设备采集所述目标对象的同一目标部位的多张第 一图像和多张第二图像， 任一第一图像和任一第二图像中目标部位的颜色信息不同； 将同一视角下的所述目标对象的一张第一图像和一张第二图像作为 一个所述图像对。 11.一种图像处 理方法， 其特 征在于， 所述方法包括： 获取待处 理图像； 基于所述待处理图像， 调用训练好的图像处理模型， 预测得到所述待处理图像的前景 蒙版； 其中， 所述图像处 理模型是通过以下 方式训练得到的： 获取训练数据集， 其中， 所述训练数据集是基于权利要求1至10中任一项所述的方法构 建得到的， 所述训练数据集中包括多张图像和各张图像对应的前 景蒙版； 将每张图像的前景蒙版作为该张图像的真实前景蒙版， 基于所述训练数据集对神经网 络模型进行训练， 得到图像处理模型， 其中， 所述神经网络模型的输入为各张图像， 输出为 预测得到的各张图像的前 景蒙版。 12.一种图像处理系统， 其特征在于， 包括图像采集设备、 颜色显示控制设备和图像处 理设备； 所述图像采集设备， 用于采集多个图像对， 每个所述图像对包括于同一场景下采集的、 对应于同一 目标对象的同一 目标部位的两张图像， 其中， 所述 目标部位在两张图像中的颜 色信息不同； 所述颜色显示控制设备， 用于在通过所述图像采集设备采集所述图像对时， 控制采集 得到的所述图像对中的两张图像中所述目标部位的颜色信息的不同； 所述图像处理设备， 用于基于所述图像采集设备采集的所述多个图像对， 通过执行权 利要求1至10中任一项所述的方法， 得到训练数据集。 13.一种图像处 理装置， 其特 征在于， 包括： 图像获取模块， 用于获取多个图像对， 每个所述图像对包括于同一场景下采集的、 对应 于同一目标对象的同一 目标部位的两张图像， 其中， 所述 目标部位在两张图像中的颜色信 息不同； 三分图获取模块， 用于确定每个所述图像对中的两张图像之间的差分图像， 并确定该 差分图像的三分图； 数据集构建模块， 用于基于各所述图像对以及各所述图像对对应的三分图， 构建训练 数据集， 其中， 所述训练数据集中包括多个第一样本数据， 每个所述第一样 本数据包括一个 所述图像对中的目标图像和该图像对对应的三分图， 所述目标图像为所述图像对中的任一 图像。 14.一种图像处 理装置， 其特 征在于， 所述装置包括： 待处理数据获取模块， 用于获取待处 理图像； 图像处理模块， 用于基于所述待处理图像， 调用训练好的图像处理模型， 预测得到所述权　利　要　求　书 2/3 页 3 CN 114120068 A 3