(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210622404.9 (22)申请日 2022.06.02 (71)申请人 哈尔滨理工大 学 地址 150080 黑龙江省哈尔滨市学府路南 岗区52号哈尔滨理工大 学 (72)发明人 丁博　张立宝　王涛　曲中水　 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/42(2022.01) G06V 10/77(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 17/00(2006.01) (54)发明名称 基于双Tran sformer分支的三维模型分类方 法 (57)摘要 基于双Tran sformer分支的三维模型分类方 法， 本发明涉及三维模型分类过程中， 二维视图 表征三维模型存在难以捕捉细节信息且分类准 确率低下的问题。 目前， 基于视图的三维模型分 类方法通常侧重于对视图采用不同的深度神经 网络模型来挖掘视图间的区分性以及时序关系， 这些方法都是视图级的， 无法从多个视图中捕获 局部细节信息， 这些细微的和具有区分性的局部 细节正是有效分类三维模型的关键。 为此， 本发 明采用基于双Tran sformer分支的三维模型分类 方法， 该方法既可以有效获取三维模 型的全局信 息， 又可以获取细粒度的局部信息， 有效提高了 对三维模型的表示能力。 在三维模型分类时， 利 用训练好的基于双Tran sformer分支的网络模型 提取三维模 型特征， 该网络分别提取三维模型的 全局信息和局部信息， 然后对两部分信息进行融 合， 最后通过融合特征进行分类。 通过这种方式，充分表示了三维模型， 提高了分类准确率。 本发 明应用于三维模型分类 。 权利要求书2页 说明书6页 附图3页 CN 114863186 A 2022.08.05 CN 114863186 A 1.基于双Transformer分支的三维模型分类方法， 其特征在于， 包含获取投影视图阶 段、 网络训练阶段和三维模型分类阶段： 所述获取投影视图阶段包 含步骤： S1、 将每个三维模型都沿着一致的轴 垂直定向， 然后在 北纬30°均匀固定12个视点相机 分别获取视图。 所述网络训练阶段包 含步骤： S2、 将全部投影视图作为训练数据放入提取全局特征的Transformer分支网络中进行 训练； S3、 将全部投影视图作为训练数据放入提取局部特征的Transformer分支网络中进行 训练； S4、 按照步骤S41的方法协同学习优化两个分支网络： S41、 通过协同学习减小双分支网络提取的全局特 征和局部特征的L2 距离 使它们在 整个训练过程中相互学习和引导。 表达式如下： 其中， K表示训练时的Batch ‑size， xV,i和xB,i分别表示两个网络提取的全局特征和局部 特征。 所述三维模型分类阶段包 含步骤： S5、 按照步骤S51 ‑S52的方法将三维模型的所有投影视图放入提取全局特征的 Transformer网络中提取视图级别特征， 每个视图分配不同的注 意力值， 突出同一对象 的所 有视图之间的重要性 不同， 将视图特 征有效地聚合 为三维模型的全局特 征： S51、 将全部投影视图最大池化后映射 为一维向量； S52、 将所有一维向量作为Transformer网络的输入提取三维模型全局特 征。 S6、 按照步骤S61 ‑S63的方法将三维模型的每张投影视图切割后放入提取局部特征的 Transformer网络中提取块级别特征， 为不同块分配不同的注 意力值， 这样可以有效表 示每 个块重要性的不同， 以促进聚合后的三维模型 特征具有丰富的局部细节， 更 具有区分性： S61、 将每张投影视图通过CNN提取特征后切割成若干个同样大小 的块， 把每个块映射 成一维向量； S62、 将每 张投影视图所有块映射的一维 向量作为Transformer网络的输入提取局部特 征； S63、 将提取的所有投影视图的局部特 征双线性池化后得到三维模型的局部特 征。 S7、 按照步骤S71的方法将S5和S6提取的特 征融合后完成分类： S71、 将双分支网络提取的全局特征和局部特征加权相加后得到表示三维模型的特征， 然后预测出三维模型的分类结果z 。 表达式如下： z＝arg max( α xV,i+(1‑α )xB,i)T 其中， α 服从U(0,1)分布， xV,i和xB,i分别表示两个网络提取的全局特 征和局部特征。 2.如权利要求所述的提取局部特征方法， 其特征在于， 步骤S63双线性池化的方法如 下：权　利　要　求　书 1/2 页 2 CN 114863186 A 2对所有投影视 图提取的局部特征向量自外积后累加， 输出双线性特征矩阵。 再将得到 的双线性特征矩阵SUM  Pooling后展平， 并通过归一化得到三维模型的局部特征x。 表达式 如下： 其中， si,0表示三维模型第i张投影视图的局部特征向量， N表示三维模型投影视图的数 量， n表示SUM  Pooling的窗口尺寸， vec( ·)表示展平操作， N orm(·)表示归一 化操作。权　利　要　求　书 2/2 页 3 CN 114863186 A 3