(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211363012.1 (22)申请日 2022.11.02 (71)申请人 汉斯夫 （杭州） 医学 科技有限公司 地址 310000 浙江省杭州市余杭区五常街 道文一西路1 199号1幢1717室 (72)发明人 王艳福　王都洋　程忠君　 (74)专利代理 机构 杭州天启智汇 专利代理事务 所(普通合伙) 33357 专利代理师 姜智慧 (51)Int.Cl. G06T 17/00(2006.01) G06T 15/50(2011.01) G06T 15/04(2011.01) G06T 7/11(2017.01) G06T 5/50(2006.01)G06T 5/00(2006.01) (54)发明名称 基于多相机颜色一致性的颌面重建方法、 设 备及介质 (57)摘要 本发明涉及图像处理技术领域， 为一种基于 多相机颜色一致性的颌面重建方法、 设备及介 质， 包括； S1： 采用多个相机获取不同视角的人脸 图像； S2： 对人脸图像进行人像解析， 得到颌面 分 割结果图， 确定颌面重建区域； S3： 将步骤S1得到 的人脸图像， 以及步骤S2得到的分割结果进行图 像融合， 得到融合图像； S4： 将步骤S3得到的融合 图像进行整体粗糙颜色调整； S5： 将步骤S4得到 的粗糙颜色调整结果进行全局精细平滑； S6： 将 步骤S5得到的精细全局平滑结果进行局部精细 平滑； 本发 明有效解决多相机颌面重建颌面信息 质量低的问题， 提高了颌面重建的精确度， 有效 将多相机下的颜色统一 化。 权利要求书3页 说明书9页 附图5页 CN 115409953 A 2022.11.29 CN 115409953 A 1.一种基于多相机颜色一 致性的颌面重建方法， 其特 征在于： 包括以下步骤： S1： 采用多个相机获取不同视角的人脸图像； S2： 对人脸图像进行 人像解析， 得到颌面分割结果图， 确定颌面重建区域； S3： 将步骤S1得到的人脸图像， 以及步骤S2得到的分割结果进行图像融合， 得到融合图 像； S4： 将步骤S3得到的融合图像进行整体粗 糙颜色调整； S5： 将步骤S4得到的粗 糙颜色调整结果进行全局精细平 滑； S6： 将步骤S5得到的精细全局平 滑结果进行局部精细平 滑； 其中， 所述 步骤S2具体包括： S21.将人脸图像输入编码器得到纹 理特征 和结构特 征 ； S22.纹理特征 被划分为特定的纹 理特征 ； S23.结构特 征 将图像划分为特定的感兴趣区域， 得到感兴趣特 征 ； S24.通过解码器的作用将纹 理特征 和结构特 征 恢复出特定区域的目标。 2.根据权利要求1所述的一种基于多相机颜色一致性的颌面重建方法， 其特征在于， 将 人脸图像中呈现的结构特征 信息和纹理特征 信息， 映射到嵌入空间， 二者的维度大小 皆为H  × W  × 3， 得到结构向量， 维度为H/16   × H/16  × 21和纹理向量， 维度为1   × 1  ×  2048。 3.根据权利要求1所述的一种基于多相机颜色一致性的颌面重建方法， 其特征在于， 所 述纹理特征 和结构特征 的划分是通过对结构张量进行切片， 并通过解码器重建感兴 趣区域来实现的； 当给定纹理向量和一个掩码结构张量作为输入时， 网络寻求发展的目标 是： 第1层： 头发 ， 第2层： 皮肤 ， 第14层： 脖子( )， 在计算损失时， 将每个解码器和编 码器视为 一个单独的组件， 每 个对应对的损失定义 为： 其中， 代表类别数， ， 分别代表了预测值和真实值， 为权重系数， 为0.5 。 4.根据权利要求1所述的一种基于多相机颜色一致性的颌面重建方法， 其特征在于， 所 述步骤S4具体包括： S41.对RGB图像进行  lab色彩空间转变， 其 转变的过程如下： 权　利　要　求　书 1/3 页 2 CN 115409953 A 2其中， LMS色彩空间代表人类对不同波长的敏感空间， L代表长波、 M代表中波、 S代表短 波， RGB色彩空间表示了正常的红绿蓝三色空间， lab色彩空间表示了光照和色彩空间， 代 表了亮度分量、 代表从绿色到红色的分量、 代表从蓝色到 黄色的分量， l og表示对数； S42. 对转变后的图像颜色校正， 待处 理的图像称为源图像， 参 考图像称为目标图像。 5.根据权利要求4所述的一种基于多相机颜色一致性的颌面重建方法， 其特征在于： 所 述步骤S42具体包括以下步骤： S421.分别分通道计算源图像与目标图像的像素均值与标准差； S422.源图像逐像素减去对应通道的均值； S423.逐像素乘对应通道目标图像与源图像标准差之比； S424.逐像素分通道加上目标图像的均值； S425.将图像由lab重新 转变为RGB图像， 完成图像之间的整体色调迁移。 6.根据权利要求1所述的一种基于多相机颜色一致性的颌面重建方法， 其特征在于： 所 述步骤S5具体包括： S51. 获取多个相机的点云信息； S52. 对步骤S51获取到的点云信息进行ICP点云配准， 构建KD ‑tree， 根据最近距离得 到重叠区域点云信息的匹配关系； 通过构建多组匹配点对得到两张不同源图像之间的RGB 变换矩阵； 对应点在RGB空间满足欧式变换T， 变换公式如下： 写成RGB值的齐次坐标 形式为： 其中， 和 为两个不同图像中匹配点对， 为旋转矩阵， 为平移矩阵； S53. 根据步骤S52得到的变化矩阵可以把不同源的两 张图片的颜色进行融合， 颜色进 行平滑过渡， 通过步骤S2得到的颌面重建区域和相机之间的内外参数， 限制该变换仅发生 在面部的颜色调整， 对左右脸中所有人脸区域的颜色进行一致化迁移， 减少与正脸视图颜 色差异。 7.根据权利要求1所述的一种基于多相机颜色一致性的颌面重建方法， 其特征在于： 所 述步骤S6具体为： 分别计算步骤51中得到的多个点云的质心， 通过距离置信度来加权重叠区域的RBG， 使 得其与左右色彩 保持更平 滑的一致性； 重叠区域点云的颜色表达式定义如下： 其中， ， 为通过KD ‑tree最近邻寻找 的匹配点对的RGB值， ， 为匹配点对的坐权　利　要　求　书 2/3 页 3 CN 115409953 A 3