(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210500255.9 (22)申请日 2022.05.10 (65)同一申请的已公布的文献号 申请公布号 CN 114821238 A (43)申请公布日 2022.07.29 (73)专利权人 山东建筑大学 地址 250101 山东省济南市历城区临港开 发区凤鸣路10 00号 (72)发明人 袭肖明　许传臻　聂秀山　张光　 刘新锋　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 闫圣娟 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) (56)对比文件 CN 113095370 A,2021.07.09 CN 113486981 A,2021.10.08 US 2021/ 0264130 A1,2021.08.26 杨颖 等.“融合局部特 征和全局特 征的手指 静脉识别方法 ”. 《计算机 工程与应用》 .2012,全 文. 李林.“不平衡样本的图像分类算法研究 ”. 《中国优秀博硕士学位 论文全文数据库(硕士)》 .2021,全 文. Fei Liu 等.“Finger Vei n Recogn ition with Superpixel-based F eatures”. 《IEEE》 .2014,全 文. Xiushan N ie 等.“Robust Ima ge Fingerprinting Based o n Feature Po int Relationship Mi ning”. 《IEEE》 .2018,全 文. 审查员 李易玮 (54)发明名称 基于全局细节补充的卷积神经网络的图像 识别方法及系统 (57)摘要 本发明涉及图像数据处理技术领域， 提出了 基于全局细节补充的卷积神经网络的图像识别 方法及系统， 方法包括： 获取待识别图像， 输入至 训练好的特征提取网络进行特征提取， 得到对应 每个特征提取阶段的特征； 根据待测试图像进行 细节特征学习， 提取图像的细节特征图； 采用自 注意力机制对特征提取网络最后一个阶段输出 的特征图以及细节特征图进行融合， 得到全局细 节特征； 将全局细节特征与特征提取各阶段的特 征相融合， 得到全局细节补充后的特征； 根据全 局细节补充后的特征进行分类， 将分类计算最大 值对应的类别为图像的分类结果。 本发明构建基 于全局细 节补充的卷积神经网络， 并采用渐进式的训练用于图像细粒度分类， 可进一步提高细粒 度分类精度。 权利要求书3页 说明书7页 附图2页 CN 114821238 B 2022.09.13 CN 114821238 B 1.基于全局细节补充的卷积神经网络的图像识别方法， 其特 征在于， 包括如下步骤： 获取待识别图像， 输入至训练好的特征提取网络进行特征提取， 得到对应每个特征提 取阶段的特 征； 根据待测试图像进行细节特 征学习， 提取图像的细节特 征图； 采用自注意力机制对特征提取网络最后一个阶段输出的特征图以及细节特征图进行 融合， 得到全局细节特 征； 将全局细节特 征与特征提取各阶段的特 征相融合， 得到全局细节补充后的特 征； 根据全局细节补充后的特征进行分类， 将分类计算最大值对应的类别为图像的分类结 果； 对特征提取网络采用渐进式训练， 设定特征提取网络的训练开始阶段n， 从开始阶段n 到最后一个阶段按照阶段累加进行逐阶段训练， 从第n+1阶段以上一阶段训练得到的训练 参数为初始参数， 直到最后一个阶段的训练， 得到训练后的特 征提取网络； 采用渐进式训练的方法， 包括如下步骤： 步骤S1、 设定特征提取网络训练的开始 阶段n， 以第n阶段的输出特征进行分类得到预 测标签， 计算真实标签与预测标签的损失， 反向传播 继续训练， 直至损失趋于稳定， 将前n阶 段训练参数作为下一阶段训练的初始参数； 步骤S2、 以第n阶段训练参数作为初始参数， 以第n+1阶段的输出特征进行与上一阶段 相同的训练过程， 将前n+1阶段的训练参数作为下一阶段训练的初始 参数， 进行下一阶段的 训练， 直到特 征提取网络的最后一个阶段， 执 行步骤S3； 步骤S3、 以上一阶段的训练参数作为初始参数， 将最后一个阶段得到的特征图进行全 局细节补充作为最后一个阶段的特征， 将开始阶段n至最后一个阶段 的特征进行级联得到 融合后的特征， 将融合特征进 行分类得到 分类预测标签， 计算真实标签与预测标签的损失， 继续训练直至损失稳定， 得到训练后的特 征提取网络 。 2.如权利要求1所述的基于全局细节补充的卷积神经网络的图像识别方法， 其特征在 于： 在进行特征提取之前还包括图像数据预 处理的步骤， 具体的， 将图像数据进 行尺度变换 为统一的大小， 并对部分图像数据进行 水平翻转、 平 移和加噪操作。 3.如权利要求1所述的基于全局细节补充的卷积神经网络的图像识别方法， 其特征在 于： 根据待测试图像进 行特征提取， 得到对应每个特征提取阶段的特征的方法， 包括如下步 骤： 将待测试图像进行多阶段 特征图提取 得到对应 每个阶段的特 征图； 将获得的特 征图进行 卷积操作， 得到对应特 征图的特 征向量。 4.如权利要求1所述的基于全局细节补充的卷积神经网络的图像识别方法， 其特征在 于： 进行细节特征学习的方法， 具体为： 将输入的待识别图像先卷积学习特征， 再反卷积重 建输入图像， 得到重 建后的图像， 最后 将输入图像与重 建后的图像作差， 得到输入图像的细 节特征图； 所述细节特 征图包含输入图像纹 理细节信息的细节特 征。 5.如权利要求1所述的基于全局细节补充的卷积神经网络的图像识别方法， 其特征在 于： 将全局细节特征与特征提取各阶段 的特征相融合采用多分辨率特征融合方法， 包括如 下步骤:权　利　要　求　书 1/3 页 2 CN 114821238 B 2将特征提取网络设定阶层的特征图以及全局细节补充后的特征图， 输入至卷积块中将 特征图展开， 分别得到特 征向量； 将得到的特 征向量级联 得到全局细节补充后的特 征。 6.如权利要求1所述的基于全局细节补充的卷积神经网络的图像识别方法， 其特征在 于： 从特征提取网络训练的设定开始阶段n到最后一个阶段之前的阶段的训练， 其中每一 个阶段的训练过程， 具体的， 如下： 构建图像数据集并进行 预处理； 将预处理后的数据输入至特 征提取网络进行 特征提取， 得到设定阶段n的特 征图； 进行卷积操作， 得到对应特 征图的特 征向量； 将经过卷积得到的结果进行分类， 获取 该阶段n分类预测结果； 将阶段n的网络预测结果与真实标签计算交叉熵损失， 反向传播继续训练， 直至损失趋 于稳定， 保留该 前n阶段训练参数作为下一次训练的初始参数； 或者， 特征提取网络最后一个阶段的训练过程， 包括如下： 以最后阶段的上一阶段的训练参数作为初始参数； 将数据集的数据输入至特征提取网络进行特征提取， 得到特征提取网络各阶段的特征 图； 采用自注意力机制对特征提取网络最后一个阶段输出的特征图以及细节特征图进行 融合， 得到全局细节特 征； 将全局细节特征向量与特征提取各阶段的特征向量相融合， 得到全局细节补充后的特 征； 根据全局细节补充后的特征进行分类， 将分类计算最大值对应的预测类别为图像的分 类结果， 计算最终预测类别标签与真实类别标签损失， 得到网络最终的损失； 不断进行训 练， 直到训练轮次达 到设定值， 最小损失值对应的特 征提取网络为训练后的特 征提取网络 。 7.基于全局细节补充的卷积神经网络的图像识别系统， 其特 征在于， 包括： 特征提取模块： 被配置为用于获取待识别图像， 输入至训练好的特征提取网络进行特 征提取， 得到对应 每个特征提取阶段的特 征； 细节特征提取模块： 被配置为用于根据待测试图像进行细节特征学习， 提取图像的细 节特征图； 自注意力模块： 被配置为用于采用自注意力 机制对特征提取网络最后一个阶段输出的 特征图以及细节特征图进 行融合， 得到全局细节特征； 全局细节补 充模块： 被配置为用于将 全局细节特 征与特征提取各阶段的特 征相融合， 得到全局细节补充后的特 征； 分类模块： 被配置为用于根据全局细节补充后的特征进行分类， 将分类计算最大值对 应的类别为图像的分类结果； 对特征提取网络采用渐进式训练， 设定特征提取网络的训练开始阶段n， 从开始阶段n 到最后一个阶段按照阶段累加进行逐阶段训练， 从第n+1阶段以上一阶段训练得到的训练 参数为初始参数， 直到最后一个阶段的训练， 得到训练后的特 征提取网络； 采用渐进式训练的方法， 包括如下步骤： 步骤S1、 设定特征提取网络训练的开始 阶段n， 以第n阶段的输出特征进行分类得到预权　利　要　求　书 2/3 页 3 CN 114821238 B 3