(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111654265.X (22)申请日 2021.12.3 0 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市下沙高教园区2 号大街 (72)发明人 戴国骏　项雷雷　周文晖　张桦　 张灵均　苟若芸　 (74)专利代理 机构 杭州君度专利代理事务所 (特殊普通 合伙) 33240 代理人 朱月芬 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于局部空间转换网络的实时目标编 辑方法 (57)摘要 本发明公开了一种基于局部空间转换网络 的实时目标编辑方法， 首先获取高分辨率图像并 制作训练数据集和测试数据集， 然后通过掩码转 换网络获取目标掩码的仿射变换矩阵， 并实现目 标图像的采样再使用空洞修复网络修复图像空 洞， 最后通过 获得的数据集训练并测试掩码转换 网络和空洞修复网络。 本发明MTN专注于掩码学 习， 可使用与业务无关的数据集训练网络模型， 降低了构建数据集的成本和模型的训练成本， 完 成目标编辑任务的同时解决了传统深度学习方 法中图像空洞的出现问题。 权利要求书2页 说明书5页 附图3页 CN 114299588 A 2022.04.08 CN 114299588 A 1.一种基于局部空间转换网络的实时目标编辑方法， 其特 征在于， 步骤如下： 步骤1， 获取高分辨 率图像并制作训练数据集和 测试数据集； 步骤2， 通过掩码转换网络(Mask  Transfor mation Network， MTN)获取目标掩码的仿射 变换矩阵， 并实现目标图像的采样； 步骤3， 使用空洞修复 网络(Hole Repair Network)修复图像空洞； 步骤4， 通过步骤1 获得的数据集训练并测试掩码转换网络和空洞修复 网络。 2.根据权利要求1所示的一种基于局部空间转换网络的实时目标编辑方法， 其特征在 于， 步骤1中数据集应包含以下四类图像： 源图像Isource、 源掩码Msource、 目标图像Itarget和目 标掩码Mtarget， 各类图像应有以下特征， 首先， Isource由特定的对象与背景组成； Msource为二值 灰度图， 用于标注Isource中对象的位置与轮廓； Itarget由编辑后的对象与背景组成； Mtarget为 二值灰度图， 用于标注Itarget中对象的位置与轮廓。 3.根据权利要求2所示的一种基于局部空间转换网络的实时目标编辑方法， 其特征在 于， 步骤1具体方法如下： 1‑1.准备数据集素材； 素材分为对象素材与背景素材， 本发明使用开源数据 集COCO‑猫 的目标对象作为对象素 材， 将开源风景 数据集作为 最终数据集的背景 素材； 1‑2.生成对象素材和对应的掩码； 设置随机仿射矩阵， 选用合适的参数范围； 通过仿射 变换生成两组图像， 一组为源对象素材和源掩码 Msource， 另一组为目标对象素材和目标掩码 Mtarget； 在生成过程中保证对象素 材不会超出图像边界， 保证对象素 材轮廓的完整性； 1‑3.合成数据集； 源图像Isource和目标图像Itarget由对应的对象素材It‑obj、 背景素材 It‑bg和掩码Mt通过掩码 操作融合 生成； 掩码 操作公式如下： It＝Mt*It‑obj+(1‑Mt)*It‑bg， t∈(source， target)   (1) 最终得到 5000组训练数据集和486组测试 数据集。 4.根据权利要求1所示的一种基于局部空间转换网络的实时目标编辑方法， 其特征在 于， 步骤2中， 掩码转换网络MTN包括参数学习模块， 采样网格生成模块， 重采样模块和 辅助 训练模块； 为了学习两个图像掩码之间的空间变换关系， 使用参数学习模块学习两个掩码 的仿射变换矩阵， 使用采样网格生成模块和重采样模块实现图像的目标区域坐标重采样， 最后加入辅助训练模块保证参数 学习模块的网络模型训练。 5.根据权利要求4所示的一种基于局部空间转换网络的实时目标编辑方法， 其特征在 于， 步骤2具体方法如下： 2‑1.搭建参数 学习模块； 参数学习模块包含两个子模块， 第 一个子模块用于提取图像特征， 由4个卷积层与一个 自适应平均池化层组成， 其中每个卷积层都使用ReLU激活函数， 第二个和第四个卷积层使 用跨步卷积， 步长为2； 第二个子模块使用全连层将图像特征图映射为仿射矩阵所需的6个 参数； 2‑2.采样； 通过仿射矩阵计算目标图像Itarget中目标对象区域像素点的坐标， 生成坐标映射网格； 根据坐标映射网格对 源图像Isource采样， 生成仿射图像Iaffine和对应的仿射变换掩码Maffine； 2‑3.搭建辅助训练模块； 辅助训练模块用于辅助训练参数学习模块； 该模块为自动编解码结构， 编码器由四个权　利　要　求　书 1/2 页 2 CN 114299588 A 2卷积层组成， 第一个和第三个卷积采用跨步卷积缩小特征图的空间尺寸； 解码器由两个卷 积层与两个上采样层组成， 上采样层位于第一和第三层， 同时编码器和 解码器的每个卷积 层都使用Leaky  ReLU函数作为激活函数。 6.根据权利要求1所示的一种基于局部空间转换网络的实时目标编辑方法， 其特征在 于， 步骤3具体方法如下： 使用空洞修复网络修复图像空洞； 所述的空洞修复网络包含两个子修复网络： 粗糙修 复网络和细化修复网络； 粗糙修复网络生成粗修复图像， 细化修复网络使用粗修复图像作 为输入； 3‑1.搭建粗 糙修复网络模型和细化 修复网络模型； 粗糙修复网络和细化修复网络使用相同的结构， 以粗糙修复网络为例； 网络模型采用 自编码器结构， 通过编码器生成特征图， 然后使用4层跨步卷积层扩展网络模型感受野， 便 于该网络模型提取较远区域的图像特征来修补空洞， 最后通过解码器输出结果图； 为了获 得更好的修复效果， 将所有基本卷积层替换为 门控卷积层， 以便在训练过程中自适应地选 择重要特 征； 3‑2.粗糙修复网络用于修复仿射图像Iaffine中因目标编辑产生的空洞； 通过源掩码 Msource和仿射变换掩码Maffine计算空洞掩码Mhole， 通过空洞掩码Mhole和仿射图像 Iaffine计算空 洞图像Ihole， 粗糙修复网络的输入数据INcoarse为输入的仿射图像Iaffine、 空洞图像Ihole和空 洞掩码Mhole在通道维度拼接而成， 计算公式如下； Mhole＝Msource|Maffine‑Maffine    (2) Ihole＝Iaffine×(1‑Mhole)+Mhole    (3) INcoarse＝(Ihole； Mhole)    (4) 3‑3.使用粗糙修复网络模型生成粗修复图像Ic， 保留Ic中空洞掩码Mhole区域图像， 将背 景使用仿射图像Iaffine替换， 得到粗糙空洞修复图像Icoarse， 细化修复网络的输入数据 INrefine为粗糙空洞修复图像Icoarse与空洞掩码Mhole在通道维度拼接而成， 计算公式如下； Icoarse＝Iaffine*(1‑Mhole)+Ic*Mhole    (5) INrefine＝(Icoarse； Mhole)    (6) 3‑4.使用细化修复网络模型生成细化修复图像Ir， 由于粗糙空洞修复图像Icoarse比空洞 图像Ihole拥有更多的特征信息， 细化修复网络模型能进一步修复图像空洞的纹理细节； 对 于细化修复图像Ir同Ic一样使用仿射图像Iaffine替换背景， 得到结果图像， 计算公式如下： Ioutput＝Iaffine*(1‑Mhole)+Ir*Mhole     (7)。 7.根据权利要求1所示的一种基于局部空间转换网络的实时目标编辑方法， 其特征在 于， 步骤4具体方法如下： 4‑1.对于掩码转换网络MTN， 使用两种损失函数保证网络模型的训练， 第一种是带权均 方差损失函数， 让网络专注于掩码区域的学习； 第二种是掩码尺度损失函数， 将网络生 成的 目标掩码区域面积与实际目标区域面积的距离作为损失， 来保证网络对掩码位置与 尺度的 学习； 4‑2.对于粗糙修复网络模型和细化修复网络模型， 使用L1损失函数计算网络模型输出 图像中Mhole区域的损失， 不计算图像背景区域的损失； 4‑3.通过步骤1 获得的测试 数据集对 掩码转换网络和空洞修复 网络进行测试。权　利　要　求　书 2/2 页 3 CN 114299588 A 3