(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210991817.4 (22)申请日 2022.08.17 (71)申请人 之江实验室 地址 311100 浙江省杭州市余杭区文一西 路1818号 申请人 电子科技大 学 (72)发明人 靖伟　苏思桐　范康　俞再亮　 刘玉　宋井宽　 (74)专利代理 机构 成都希盛知识产权代理有限 公司 512 26 专利代理师 陈泽斌 (51)Int.Cl. G06V 10/82(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种掩码变形方法及其掩码形变网络的训 练方法 (57)摘要 本发明涉及图像处理领域， 具体涉及一种掩 码变形方法， 其能在仅知晓目标域标签信息的前 提下， 实现域之间的实例形变， 且能够使得实例 和掩码信息保持一致， 其首先获得源域掩码的整 体特征， 然后将源域的各实例掩码分别与整体特 征进行融合， 获得各实例掩码特征； 然后， 再将目 标域标签信息的特征编码分别嵌入各实例掩码 特征； 最后， 通过生成器输 出目标域生成掩码， 作 为对应目标域的实例掩码。 同时， 提供了一种掩 码变形方法的掩码形变网络的训练方法， 其以目 标域真实掩码和通过上述掩码形变网络生成的 掩码构成正负样本对， 进行生成对抗网络训练， 提出了一种有效且高效的训练范式。 权利要求书3页 说明书8页 附图2页 CN 115424110 A 2022.12.02 CN 115424110 A 1.一种掩码变形 方法， 其特 征在于， 包括以下步骤： A1、 将源域的实例掩码和目标域标签输入预先训练好的掩码形变网络； 所述掩码形变 网络包括编码器和生成器； A2、 所述掩码形变网络， 按如下步骤 对掩码进行变形： A21、 将源域的所有实例掩码进行聚合， 获得源域掩码； 通过编码器， 对源域掩码进行特 征提取， 获得源域掩码的整体特征Fimg； 将源域的各实例掩码 分别与整体特征Fimg进行融 合， 获得对应各实例掩码的实例掩码特征Fmask(i)； 然后， 对目标域的标签信息进行特征编 码， 再将目标域标签信息的特 征编码分别嵌入各实例的掩码特 征Fmask(i)； A22、 分别将各个融合了标签信息特征编码的实例掩码特征， 输入生成器， 并将生成器 最终输出的目标域 生成掩码 作为对应目标域的实例掩码。 2.如权利要求1所述的一种掩码变形 方法， 其特 征在于： 所述掩码形变网络的编码器为多层的卷积神经网络， 并通过矩阵点乘， 将源域的实例 掩码 与整体特 征Fimg进行融合； 对目标域的标签信 息通过独热编码的方式， 进行特征编码， 并通过矩阵乘法， 将实例掩 码特征Fmask(i)与目标域标签信息的特征编码进行融合； 或者， 通过卷积神经网络对目标域 的标签信息进行编码， 然后将实例掩码特征Fmask(i)与目标域标签信息的特征编码进行拼 接。 3.如权利要求1所述的一种掩码变形 方法， 其特 征在于： 所述掩码形变网络的生成器， 包括多层残差神经网络和多层卷积神经网络； 首先， 由多 层残差神经网络将输入的融合了标签信息的实例掩码 特征Fmask(i)进行缩放， 使其与多层卷 积神经网络的输入维度相匹配， 然后， 再由多层卷积神经网络进 行解码， 生 成目标域生 成掩 码； 多层卷积神经网络的层 间通过上采样进行放大， 使得最终输出与源域图像具有相同尺 寸。 4.如权利要求1、 2或3任一项所述一种掩码变形方法的掩码形变网络的训练方法， 其特 征在于， 所述掩码形变网络， 按如下步骤进行训练： B1、 训练样本数据准备： 从数据集采集掩码， 以前景所属类别定义域， 基于所构建的域进行两两组合构建样本 对， 每一样本对包含两个域， 其中一个域作为源域、 另一个域作为目标域， 在所有的样本对 中， 所构建的每一个域至少分别作为 一次目标域； B2、 对掩码形变网络进行训练： B21、 输入 包括待翻译任务所指定源域和目标域的至少一个样本对； B22、 针对输入的每一个样本对， 掩码形变网络分别按如下步骤进行处 理： 从样本对的源域的实例掩码和目标域的实例掩码中， 分别随机采样设定数量的实例掩 码； 将采样获得的源域的实例掩码和目标域的实例掩码两两配对， 即一个源域的实例掩码 对应一个目标域的实例掩码 其中， 下标i表示第i个样本对， 范围为1～P， P为输入的 样本对的数量， j表示对应域的第j个掩码， 范围为1～Q， Q为设定的采样数量， 上标T表示目 标域、 S表示源域；权　利　要　求　书 1/3 页 2 CN 115424110 A 2将目标域标签和采样 获得的源域的实例掩码输入掩码形变网络， 生成分别与 该源域各 实例掩码对应的目标域 生成掩码 基于源域实例掩码 和目标域实例掩码 的配对信息， 以及目标域生成掩码 与 源域实例掩码 的对应关系， 构建由对应的源域实例掩码 目标域实例掩码 和目标 域生成掩码 构成的三元组； B23、 根据步骤B22获得的三元组， 针对每一个三元组， 对其目标域实例掩码 进行缩 放， 使得其与对应的目标域生成掩码 尺寸相匹配， 作为目标域真实掩码； 并由对应的目 标域生成掩码和目标域真实掩码构成正负 样本对； B24、 将步骤B23获得的正负 样本对， 输入判别器， 对 掩码形变网络进行对抗训练； B25、 达到设定的迭代次数或掩码形变网络收敛， 则完成训练， 否则返回步骤B2 2。 5.如权利要求 4所述的一种掩码变形 方法的掩码形变网络的训练方法， 其特 征在于： 在所述步骤B22中， 在将采样 获得的源域的实例掩码和目标域的实例掩码两两配对后， 将两两配对的实例掩码的中心位置进行对齐。 6.如权利要求 4所述的一种掩码变形 方法的掩码形变网络的训练方法， 其特 征在于： 所述掩码形变网络的生成器为多层网络， 在所述步骤B22中， 针对每一个输入的融合了 标签信息特征编 码的实例掩码特征， 生成器的多层网络在解码时， 生 成器的最后K层逐层输 出对应不同尺寸的目标域生成掩码 也即 为 所构成的目标域生成掩码序列， 所述K为多层网络中被选择进 行逐层输出的网络层 数； 在步骤B23中， 针对每一个三元组， 对其目标域实例掩码 进行缩放， 得到分别与目标 域生成掩码序列中 尺寸相匹配的目标域 真实掩码 并由对应的目标域生成掩码 和目标域真实掩码 构成对抗样本， 所述 n为掩码序列的序号。 7.如权利要求6所述的一种掩码变形 方法的掩码形变网络的训练方法， 其特 征在于： 步骤B24对抗训练中， 判别器的对抗损失函数为： 其中， Dmask表示用于掩码形变网络对抗训练的判 别器， 表示与第i个样本对中源域 的第j个实例掩码 对应的第n个输出层输 出的目标域生成掩码； 表示第i个样本对中与 源域的第j个实例掩码对应的目标域实例掩码经缩放获得的第n个目标域真实掩码。 8.如权利要求6所述的一种掩码变形 方法的掩码形变网络的训练方法， 其特 征在于： 步骤B24对抗训练中， 生成器的对抗损失函数为：权　利　要　求　书 2/3 页 3 CN 115424110 A 3