(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210591535.5 (22)申请日 2022.05.27 (71)申请人 中国民航大 学 地址 300300 天津市东 丽区津北公路2898 号 (72)发明人 赵世伟　刘静静　张鹏　杜海龙　 (74)专利代理 机构 天津才智专利商标代理有限 公司 12108 专利代理师 庞学欣 (51)Int.Cl. G06V 10/24(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/40(2022.01) G06V 10/80(2022.01) (54)发明名称 应用于移动终端设备的航空紧固件及锁线 自动定位方法 (57)摘要 一种应用 于移动终端设备的航空紧固件及 锁线自动定位方法。 其包括采集带有航空 紧固件 和锁线组合的航空器维修场景图像样本； 进行预 处理和图像增强； 构建航空紧固件及锁线自动定 位检测网络模型； 对模型进行训练测试； 利用移 动终端设备对含有待检测目标的航空器维修场 景图像进行目标检测等步骤。 本发 明可有效降低 航空紧固件及锁线自动定位检测网络模型中参 数数量； 主干特征提取网络输出端， 增加了注意 力网络模块， 利用通道间关系模拟， 及精确位置 信息捕获依赖关系， 保证在几乎不增加额外计算 量情况下， 确保航空 紧固件及锁线自动定位检测 网络模型具备较高精度； 可辅助机务维修人员快 速定位航空紧固件及锁线， 提高检修效率， 缩短 飞机检修时间。 权利要求书3页 说明书6页 附图3页 CN 114972723 A 2022.08.30 CN 114972723 A 1.一种应用于移动终端设备的航空紧固件及锁线自动定位方法， 其特征在于： 所述应 用于移动终端设备的航空紧 固件及锁线自动定位方法包括按顺序进行 下列步骤： 步骤1.样本采集： 采集带有航空紧 固件和锁线组合的航空器维修场景图像样本； 步骤2.数据集制作： 对上述航空器维修场景图像样本进行预处理和图像增强， 并划分 成训练集和 测试集； 步骤3.模型构建： 借鉴Yo lo_v4理念， 构建航空紧 固件及锁线自动定位检测网络模型； 步骤4.参数集整定： 使用步骤2中所述数据集对上述航空紧固件及锁线自动定位检测 网络模型进行训练及测试， 确定最终参数集； 步骤5.程序部署运行： 将上述最终参数集确定的航空紧固件及锁线自动定位检测网络 程序模型部署到移动终端设备， 利用移动终端设备对含有待检测目标的航空器维修场景图 像进行目标检测， 输出目标检测结果。 2.根据权利要求1所述的应用于移动终端设备的航空紧固件及锁线自动定位方法， 其 特征在于： 在步骤1中， 所述采集带有航空紧固件和锁线组合的航空器维修场景图像样 本的 具体方法是： 所述航空紧固件通常采用螺栓； 锁线通常采用不锈钢丝； 在考虑 现场光照条件下， 采用 工业相机对含有螺栓及锁线组合的航空器区域进行多角度拍摄而获得原始航空器维修场 景图像， 由所有原 始航空器维修场景图像构成航空器维修场景图像样本 。 3.根据权利要求1所述的应用于移动终端设备的航空紧固件及锁线自动定位方法， 其 特征在于： 在步骤2中， 所述对上述航空器维修场景图像样本进行预处理和图像增强， 并划 分成训练集和测试集的具体方法是： 从航空器维修场景图像样本中筛选出合适的原始航空 器维修场景图像并裁剪成固定大小用于训练的图像格式， 然后使用随机旋转、 缩放及使用 mosaic图像数据增强在内的方法扩充上述裁剪后的图像数量， 从而构建出带有紧固件和锁 线组合的图像样本； 之后使用labelimg标注工具对 上述带有紧固件和锁线组合的图像样 本 进行人工标注并转换成VOC20 07数据集格式， 并按照8 :2的比例划分成训练集和 测试集。 4.根据权利要求1所述的应用于移动终端设备的航空紧固件及锁线自动定位方法， 其 特征在于： 在步骤3中， 所述航空紧固件及锁线自动定位检测网络模型包括： 输入模块、 主干 特征提取网络模块、 注意力网络模块、 特 征融合网络模块和Head检测模块； 所述输入模块为RGB格式图像， 主干特征提取网络模块为Mobilenet_v3网络结构， 注意 力网络模块为横、 纵坐标注意力网络结构， 特征融合网络模块分为SPP结构和PANet结构两 部分， Head检测模块 为Head检测器； 所述Mobilenet_v3网络结构由CBR模块和Bneck模块组成， 其中CBR模块分为Conv、 BN、 Relu模块 三部分， Bneck模块由5个模块串联组成， 记为Bneckn， 其中n＝1， 2，…， 5； 所述CBR模块包括二维卷积层、 批归一化层和激活层， 其中， 二维卷积层为步长为2， 3* 3*16大小的普通卷积， 激活层采用Relu激活函数； 所述Bneckn模块中各模块均使用深度可分离卷积， 采用的激活函数为h ‑swish激活函 数； 所述Mobi lenet_v3网络结构工作方式为： 所述RGB格式图像输入Mobilenet_v3网络结构中的Conv+BN+Relu模块后输出特征图 Feature_CBR；权　利　要　求　书 1/3 页 2 CN 114972723 A 2特征图Feature_CBR输入所述Bneck1模块后， 得到特 征图Feature1； 在所述Bneckn模块中， 当n＝2， 3， …， 5， 时， 将特征图Featuren‑1作为Bneckn模块输入， 得 到输出的特征图Featuren， 其中， 主干特征提取网络模块输出的特征图Feature3、 Feature4、 Feature5作为注意力网络模块的输入； 所述注意力网络模块共3个， 分别为CA1， CA2， CA3； 其中， 所述主干特征提取网络模块输 出的特征图Feature3输入坐标注意力网络模块CA1， 坐标注意力网络模块CA1将特征图 Feature3沿水平方向和垂直方向进行编码， 然后将编码结果进行拼接， 并通过卷积加标准 化加非线性激活处理对拼接后的编码信息进行整合， 建立相互的关联； 之后将关联结果进 行拆分并经过卷积加非线性激活处理得到各坐标编 码信息， 最后 将坐标编 码信息与特征图 Feature3逐点相乘， 得到含有感兴趣区域的特征图Feature_CA1； 同理， 特征图Feature4输入 坐标注意力网络模块CA2， 得到含有感兴趣区域的特征图Feature_CA2； 特征图Feature5输入 坐标注意力网络模块CA3， 得到含有感兴趣区域的特 征图Feature_CA3； 所述特征融合网络模块中SPP结构输入的特征图为含有感兴趣区域的特征图Feature_ CA3， 所述SPP结构包含三个步长为1， 大小分别为3*3、 9*9、 13*13的池化核， 对输入的含有感 兴趣区域的特征图Feature_CA3进行池化， 将池化后的大小相同的特征图进行堆叠， 得到池 化后的特 征图Feature_S PP； 所述PANet结构包含自上而下和自下而上两个分支， 采用深度可分离卷积， 共输入三个 特征图， 分别为含有感兴趣区域的特征图Feature_CA1、 含有感兴趣区域的特征图Feature_ CA2、 池化后的特征图Feature_SPP； 其中， 含有感兴趣区域的特征图Feature_CA1大小为52* 52*40， 含有感兴趣区域的特征图Featur e_CA2大小为26*26*112， 池化后的特征图Featur e_ SPP大小为13 *13*160。 5.根据权利要求1所述的应用于移动终端设备的航空紧固件及锁线自动定位方法， 其 特征在于： 在步骤4中， 所述使用步骤2中所述数据集对上述航空紧固件及锁线自动定位检 测网络模型进行训练及测试， 确定最终参数集的具体方法是： 将随机梯度下降法和余弦退火法相结合， 利用步骤2中所述训练集对上述构建航空紧 固件及锁线自动定位检测网络模型 的参数集进行优化训练， 训练过程分为两个阶段： 第一 阶段提供初始化学习率、 训练图像输入数量、 迭代循环数在内的信息， 初始训练参数<lr, Batch_size,Init_Ep och,Freeze_Ep och>设置为(1e‑3， 6， 0， 100)， 只训练注意力网络模块、 特征融合网络模块以及Head检测模块中的子参数集； 第二阶段在第一阶段基础上面向全部 参数集开展训练， 训练参数<lr,Batch _size,Freeze_Epoch， Unfreeze_Epoch>设置为(1e‑4， 4， 100， 180)； 每次迭代采用测试集进行输入测试； 当损失函数逐渐收敛并达到稳定时， 保留并确定为构建航空紧固件及锁线自动定位检 测网络模型的最终参数集。 6.根据权利要求1所述的应用于移动终端设备的航空紧固件及锁线自动定位方法， 其 特征在于： 在步骤5中， 所述将上述最终参数集确定的航空紧固件及锁线自动定位检测网络 程序模型部署到移动终端设备， 利用移动终端设备对含有待检测目标的航空器维修场景图 像进行目标检测， 输出目标检测结果的具体方法是： 所述移动终端设备采用但不限于树莓派4B+； 激活程序运行， 将所拍摄的含有作为待检 测目标的航空紧固件及锁线的航空器维修场景图像输入到移动终端设备中， 在移动终端设权　利　要　求　书 2/3 页 3 CN 114972723 A 3