(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111635819.1 (22)申请日 2021.12.2 9 (71)申请人 扬州大学 地址 225009 江苏省扬州市大 学南路88号 (72)发明人 韩恒　胡学龙　陈万培　高绅　 杨钦榕　 (74)专利代理 机构 南京苏科专利代理有限责任 公司 32102 专利代理师 董旭东　陈栋智 (51)Int.Cl. G06T 5/00(2006.01) G06T 7/62(2017.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于改进YOLOX-S的靶面透 视失真矫 正方法 (57)摘要 本发明公开了一种基于改进YOLOX ‑S的靶面 透视失真矫正方法， 包括以下步骤： 1） 对靶纸数 据集的原始图像的关键点进行整理标注； 2） 对 标 注生成的json文件结合原始图片， 采用数据增强 方法对数据集进行处理生成新的json格式文件， 将其转换为xml格式文件， 将得到的训练数据集 随机划分为训练集与验证集； 3） 将YOLOX ‑S网络 中的Neck结构 进行改进， 配置YOL OX‑S参数， 使用 数据集对改进YOLOX ‑S进行训练学习， 得到网络 模型； 4） 使用上述网络模型对靶纸关键点与环值 数字进行检测， 得到图像像素坐标； 5） 计算出各 个关键点的靶纸坐标系坐标； 6） 使用校正矩阵完 成对靶纸图像的透视失真校正； 本发 明相较于传 统的图像处理校正方法有更好的实时性与鲁棒 性。 权利要求书2页 说明书6页 附图5页 CN 114494038 A 2022.05.13 CN 114494038 A 1.一种基于改进YOLOX ‑S的靶面透 视失真矫 正方法， 其特 征在于， 包括以下步骤： 步骤一： 对靶纸数据集的原始图像的关键点及环值数字使用Labelme标注软件进行整 理标注； 步骤二： 对labelme标注生成的json文件结合原始图片， 采用Edge ‑paste数据增强方法 对数据集进行处理最后在原json文件的基础上生 成新的json格式文件， 采用python脚本将 其转换为xml格式文件， 并确保xml文件与数据集中的图片名称一一对应， 将得到的训练数 据集随机划分为训练集与验证集； 步骤三： 关闭YOLOX ‑S输入端的Mosaic数据增强， 保留Mixup数据增强， 并将YOLOX ‑S网 络中的Neck结构进行改进， 配置YOLOX ‑S参数， 使用数据集对改进YOLOX ‑S进行训练学习， 得 到网络模型； 步骤四： 使用上述网络模型对靶纸关键点与环值数字进行检测， 可以得到关键点和环 值数字的图像 像素坐标； 步骤五： 将检测得到的环值数字 图像像素坐标， 根据环值数字关于靶纸中心点对称的 原理， 计算出靶纸中心点的图像像素坐标， 以该坐标为靶纸坐标系的坐标原点便可计算出 各个关键点的靶纸 坐标系坐标； 步骤六： 将得到的关键点靶纸坐标系坐标， 结合已知的实 际靶纸图像中对应的关键点 的靶纸坐标系坐标计算出 校正矩阵完成对 靶纸图像的透 视失真校正。 2.根据权利要求1所述的基于改进YOLOX ‑S的靶面透视失真矫正方法， 其特征在于， 步 骤一中标注的关键点共十二个分别为： 位于胸环靶靶纸头部五环、 六环及七环环线与靶纸 无效区域相交的六个临界点； 位于胸环靶靶纸肩部六环及 七环环线与靶纸无效区域相交的 四个临界点； 位于胸环靶 靶纸底部六环 环线与靶纸无效区域相交的两个临界点。 3.根据权利要求2所述的基于改进YOLOX ‑S的靶面透视失真矫正方法， 其特征在于， 步 骤二采用Edge ‑paste数据增强方法对数据集进行处理具体为： 用Edge ‑paste数据增强将靶 纸中已标注的关键点， 在靶纸的有效区域 边缘上进行随机粘贴。 4.根据权利要求3所述的基于改进YOLOX ‑S的靶面透视失真矫正方法， 其特征在于， 步 骤三对YOLOX ‑S进行的改进具体包括： 关闭Mosaic数据增强， 保留Mixup数据增强， 再对Neck结构的FPN+PAN结构进行改进， 将 FPN结构增加一级， 利用Backbone中第二次下采样的浅层特征与FPN的上一级输出进行融 合， 然后再进行PAN操作。 5.根据权利要求4所述的基于改进YOLOX ‑S的靶面透视失真矫正方法， 其特征在于， 步 骤六中矫正矩阵获取方法为： 将步骤五得到的原始失真图像中关键点的靶纸坐标系坐标， 结合实际原靶纸图像中对应的关键点 坐标计算出 校正矩阵： 设(u,v,w)为原始失真图像中的点， 透视变换后得到的点为(x ’,y’,z’)； 则它们之间 的 关系为： 权　利　要　求　书 1/2 页 2 CN 114494038 A 2令w＝1， 校正后的图像中的点的坐标(x,y),满足： 可得方程组： 该方程组中， a33取1， 可得方程组： 方程组中有8个未知数， 在原靶纸图像和失真靶纸图像上对应的四组点的坐标； 由上述校正原理可知， 计算出校正矩阵只 需要4组点， 假设在YOLOX ‑S检测的关键点的 结果中取得四个点的坐标分别为(ua,va)， (ub,vb)， (uc,vc)， (ud,vd)， 其在靶纸实际图像中对 应的坐标分别为(xa,ya)， (xb,yb)， (xc,yc)， (xd,yd)， 将这四组对应点 坐标带入方程组可 得。 可解得a11,a12,a13,a21,a22,a23,a31,a32， 从而可得校正矩阵： 6.根据权利要求5所述的基于改进YOLOX ‑S的靶面透视失真矫正方法， 其特征在于， 步 骤六对靶纸的透 视失真校正方法为： 对靶纸图像中的关键点进行识别检测， 将胸环靶头部的两个五环关键点与两个六环关 键点分为一组； 将头部的两个七环关键点与肩部的两个七环关键点分为一组； 将肩部的两 个六环关键点与 底部的两个六环关键点分为一组。 利用这三组点结合其在 靶纸实际图像中 对应的坐标， 计算出三个校正矩阵， 通过三个校正矩阵分别对失真图像的不同区域进行校 正， 从而对 存在透视失真靶纸图像完成失真校正。权　利　要　求　书 2/2 页 3 CN 114494038 A 3