(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210991650.1 (22)申请日 2022.08.18 (71)申请人 南京邮电大 学 地址 210046 江苏省南京市栖霞区文苑路9 号 (72)发明人 高佳玮　葛琦　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 陈月菊 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/77(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于Transformer的人脸识别方法 (57)摘要 本发明公开了一种基于Tran sformer的人脸 识别方法， 包括如下步骤： S1、 获取带有标签的人 脸训练图像数据； S2、 先经过卷积层进行通道信 信息融合； S3、 经过6层Transformer  Enconder   Block编码； S4、 经过卷积层进行降维减少参数； S5、 经过6层Transformer  Decoder Block编码； S6、 经过损失函数优化输出数据。 本发明用图像 的不同patch之间的联合信息提取的方法， 可以 提高人脸识别表示的运算速度与性能， 以及利用 位置编码对采样点的人脸进行高维映射， 可以很 好地映射已有人脸和未知环境人脸之间的关系。 权利要求书2页 说明书6页 附图2页 CN 115311725 A 2022.11.08 CN 115311725 A 1.一种基于Transformer的人脸识别方法， 其特 征在于， 包括如下步骤： S1、 获取带有标签的人脸训练图像数据； S2、 先经过卷积层进行通道信 信息融合； S3、 经过6层Transformer  Enconder Block编码； S4、 经过卷积层进行降维减少参数； S5、 经过6层Transformer  Decoder Block编码； S6、 经过损失函数优化输出 数据。 2.根据权利要求1所述的基于Transformer的人脸识别方法， 其特征在于， 在S1中， 采用 MS‑Celeb‑1M数据集进行训练。 3.根据权利要求2所述的基于Transformer的人脸识别方法， 其特征在于， 在S1中， 采用 LFW数据集进行泛化测试的人脸模板分析比对法。 4.根据权利要求1所述的基于Transformer的人脸识别方法， 其特征在于， 在S2中， 采用 的卷积层， 包括Co nv n×n和Conv 1×1两部分。 5.根据权利要求1所述的基于Transformer的人脸识别方法， 其特征在于， 在S3中， 从图 像X∈RW×W×C中提取出补丁大小为P、 步长为S的滑动面片,得到一系列平坦的二维补丁 (W,W)是原始图像的分辨率,而(P,P)是每个图像面片的分辨率， 有效序列长 度就是面片数 其中， p是零 填充数量； 可学习的嵌入 被连接到补丁嵌入， 并且它在Transformer编码器 输出 的状态是最 终的人脸图像嵌入， 如公式2所示； 然后， 将位置嵌入添加到补片嵌入中， 以保留 位置信息， 最终嵌入： 用作Transformer的输入， 将编码好的参数送入 6.根据权利要求1所述的基于Transformer的人脸识别方法， 其特征在于， 在S4 中， 采用 的卷积层， 包括Co nv n×n和Conv 1×1两部分。 7.根据权利要求1所述的基于Transformer的人脸识别方法， 其特征在于， 在S5中， 包括 多头自注意力MSA和全连接MLP块， 在每个块之前经过层归一化， 在每个块之后具有剩余连 接； Transformer的关键块之一， MSA， 是由k与并行的自注意SA共同组成的， 其中， x∈R(N+1)×D是输入序列, 是线性变换的权重矩阵, 权　利　要　求　书 1/2 页 2 CN 115311725 A 2是注意力分布图； MSA的输出 是k注意头 部输出的连接； MSA(z)＝[ SA1(z)； SA2(z)；…； SAk(z)]Umsa,       (4) 其中， 8.根据权利要求1所述的基于Transformer的人脸识别方法， 其特征在于， 在S6中， 损失 函数为： 其中， y是标签， Py是将x归入y类的预测概率， C是身份数字， Wj是最后完全连接的层的重 量的j‑th列， bj∈Rc是偏差。 9.根据权利要求8所述的基于Transformer的人脸识别方法， 其特征在于， 基于Softmax 的损失函数去除了偏置项并进行了WjTX＝scosθj变换,并在cosθyi项中加入较大的余量； 基 于Softmax的最终的损失函数 可以表示 为： 其中， 在CosFace中， f( θyi)＝cosθyi‑m。权　利　要　求　书 2/2 页 3 CN 115311725 A 3