(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210459854.0 (22)申请日 2022.04.28 (71)申请人 西安工业大 学 地址 710032 陕西省西安市未央区学府中 路2号 (72)发明人 杨恒占　蔡勋　许嘉豪　 (74)专利代理 机构 西安新思维专利商标事务所 有限公司 61 114 专利代理师 黄秦芳 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/28(2022.01) G06V 10/75(2022.01) G06V 10/80(2022.01) (54)发明名称 基于多目视觉图像视差的机场跑道异物检 测方法 (57)摘要 本发明公开了一种基于多目视觉图像视差 的机场跑道异物检测方法， 具体技术方案为： 使 用四个高像素工业摄像头从不同观测角度观测 同一检测区域， 每个摄像头通过从不同观测角度 观测同一检测区域时， 在遇到具有立体特性的异 物会由于观测角度不同异物会呈现不同形状产 生不同的视差的图像， 通过对这一组图像的处理 找出该差异便可检测出异物。 本发 明解决了现有 技术基于毫米波雷达技术的检测系统探测识别 异物的精度差， 需要辅助检测手段的缺点， 本发 明所述检测方法识别精度可 以达到5毫米， 设备 成本及运维 成本较低。 权利要求书2页 说明书7页 附图8页 CN 114937203 A 2022.08.23 CN 114937203 A 1.一种基于多目视 觉图像的机场跑道 异物检测方法， 其特 征在于： 使用四个 高像素工业摄像头从不同观测角度观测同一检测区域， 每个摄像头通过从不 同观测角度观测同一检测区域时， 在遇到具有立体特性的异物会由于观测角度不同异物会 呈现不同形状产生不同的视差的图像， 通过对这一组图像的处理找出该差异便可检测出异 物。 2.根据权利要求1所述的一种基于多目视觉图像的机场跑道异物检测方法， 其特征在 于， 具体包括以下步骤： 步骤一： 通过四个摄像机ai,i∈(1,2,3,4)对检测区域进行拍摄并将各自拍摄的 图像记 作Ii,i∈(1,2,3,4),将每张图像转换为灰度图并进行直方图均值化预处理， 处理后的每张 图像用fi (x,y)表示； 其中三个摄像机α1、 α2、 α3为水平等边三角形布置， 第四个摄像头α4为俯 拍角度布置； 步骤二： 根据四张图像之间存在线性的空间关系， 进行图像之间的透视变换， 采用特征 点对之间的匹配和随机一致匹配算法相结合来建立透视变换矩阵， 分别将位于等边三角处 拍摄的图像f1(x,y),f2(x,y),f3(x,y)变换到以图像f4(x,y)俯视角度观测的图像ff1(x,y), ff2(x,y),ff3(x,y)； 步骤三： 当检测区域存在立体异物时， 从不同观测角度观测同一异物会得到不同的形 状信息， 再通过将每张图像不同信息进行融合就可以得到最终的检测结果， 最终完成异物 的检测。 3.根据权利要求2所述的一种基于多目视觉图像的机场跑道异物检测方法， 其特征在 于， 具体包括以下步骤： 步骤一中， 所述每张图像转换为灰度图并进行直方图均值化预处理的方法为： 对图像 Ii,i∈(1,2,3,4)进行高斯模糊得到新的一组图像， 再对这组彩色图像中每张彩图分解成 RGB三通道亮度图记作R(x,y),G(x,y),B(x,y)， 通过fi (x,y)＝0.299*R(x,y)+0.587*G(x,y)+0.114* B(x,y)转换成灰度图fi (x,y)。 4.根据权利要求3所述的一种基于多目视觉图像的机场跑道异物检测方法， 其特征在 于， 具体包括以下步骤： 步骤二中， 首先需要对步骤一得到的图像fi (x,y)分别采用sift算法进行特征点提取,将 每个相机ai拍摄的图像中所有极值点分别描述出来形成各自的特征点集Di(i∈(1,2,3, 4))。 5.根据权利要求4所述的一种基于多目视觉图像的机场跑道异物检测方法， 其特征在 于， 具体包括以下步骤： 步骤二中,图像之间的透 视变换的方法具体为： <1>特征点匹配： 将a4相机拍摄的图像作为样本图， 通过特征点描述子， 分别从a1、 a2、 a3图像中找出与a4 图像中特 征点集相匹配的特 征点坐标， 并记作si4且i∈(1,2,3)； <2>建立仿射变换矩阵模型： ①假定仿射变换模型如式3.1， 并随机从si4抽取4个样本点， 对 模型进行拟合； 权　利　要　求　书 1/2 页 2 CN 114937203 A 2area(m1)‑area(m2)＜＝ ε   (3.1) 式3.1中， N表示m1区域像素点的个数， M表示q1区域像素点的个数， f(x,y)表示像素点的 灰度值， ε表示阈值； ②假设容差范围为:sigma， 找出距离拟合曲线容差范围内的点， 并统计点的个数； ③重新随机从si4选取4个点， 重复第一 步到第二 步操作， 直到迭代结束； ④每次拟合之后， 容差范围内都有对应的数据点， 找出数据点个数最多的情况， 作为最 终的模型 结果； 通过上述步骤给si4,i∈(1,2,3)三组特 征点对集分别建立 三个仿射变换模型Hi； 在得到对应摄像头拍摄图像的透视变 换模型之后， 可通过式4.1将aii∈(1,2,3)摄像头 拍摄的图像fi (x,y)变换到以a4摄像头视角拍摄的图像f fi (x,y),i∈(1,2,3)； 其中 为fi (x,y)图像像素点的位置， 为仿射变换后像素点的位置， 为透视变换矩阵H 。 6.根据权利要求5所述的一种基于多目视觉图像的机场跑道异物检测方法， 其特征在 于， 具体包括以下步骤： 步骤三中， 将每张图像不同信息进行融合的具体方法为： ①通过融合得到的图像亮度均值MoI视差均值图， 采用canny边缘检测算子， 通过像素 间的梯度变换程度提取出 “虚环”的外部轮廓与内部轮廓， 并根据轮廓 将异物区域分为两个 区域， 实体区域m1和虚环区域q1， 通过两个区域的平均灰度差判断此处是否存在异 物； ②引入图像亮度偏差度DoI融合图像排除外界干扰因素， 通过先膨胀再腐蚀的作法可 以放大这种特性， 实现异 物检测的效果； ③将两副图像 检测出来的异 物进行对比结合， 得到最终的检测结果。权　利　要　求　书 2/2 页 3 CN 114937203 A 3