(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210658792.6 (22)申请日 2022.06.13 (65)同一申请的已公布的文献号 申请公布号 CN 114758219 A (43)申请公布日 2022.07.15 (73)专利权人 青岛国数信息科技有限公司 地址 266200 山东省青岛市 即墨市青岛蓝 色硅谷创业中心一期— —海创中心 (72)发明人 张浩　刘兴　叶春雨　王小东　 毛春瑶　 (74)专利代理 机构 青岛锦佳专利代理事务所 (普通合伙) 37283 专利代理师 朱玉建 (51)Int.Cl. G06V 20/05(2022.01)G06V 10/26(2022.01) G06V 10/30(2022.01) G06V 10/75(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01) G01J 5/00(2022.01) G01N 21/35(2014.01) 审查员 孙娟 (54)发明名称 基于光谱数据和红外温度数据融合的尾迹 识别方法 (57)摘要 本发明属于水下目标探测技术领域， 公开了 一种基于光谱数据和红外温度数据融合的尾迹 识别方法， 其包括如下步骤： 基于已采集的尾迹 红外温度数据样本， 用红外热像仪获得的基于时 间序列的红外图像提取尾迹目标温度数据， 得到 尾迹红外位置信息数据； 基于已采集的尾迹光谱 数据样本， 用光谱仪采集的光谱数据进行处理， 得到尾迹光谱位置信息数据； 将尾迹红外位置信 息数据与尾迹光谱位置信息数据进行余弦相似 度计算； 若计算得到的匹配度值大于或等于预设 匹配度阈值， 表明面向尾迹识别的光谱数据处理 方法以及红外图像处理方法融合效果达到最优； 否则不断地调节参数， 直到二者融合效果达到最 优， 最后对目标尾迹识别。 本发明利于提高水下 目标探测的探测精度。 权利要求书3页 说明书5页 附图5页 CN 114758219 B 2022.09.02 CN 114758219 B 1.基于光谱数据和红外温度数据融合的尾迹识别方法， 其特 征在于， 包括如下步骤： 步骤1. 基于已采集的尾迹红外温度数据样本， 用红外热像仪获得的基于时间序列的 原始红外图像提取尾迹目标温度数据， 得到尾迹红外位置信息数据； 步骤2. 基于已采集的尾迹光谱数据样本， 用光谱仪采集的光谱数据进行处理， 得到尾 迹光谱位置信息数据； 步骤3. 将步骤1得到的尾迹红外位置信 息数据与步骤2得到的尾迹光谱位置信息数据 进行余弦相似度计算， 得到它 们之间的匹配度； 判断所述匹配度值与预设匹配度阈值的大小关系， 若该匹配度值小于预设匹配度阈 值， 则转到步骤4； 若该匹配度值大于或等于预设匹配度阈值， 则转到步骤5； 步骤4. 比较尾迹红外位置信息数据与尾迹光谱位置信息数据的数量； 经过比较， 若尾迹红外位置信息数据的数量小于尾迹光谱位置信息数据的数量， 则进 一步改进步骤1中红外图像处 理方法的帧间差分法的背景选取； 经过比较， 若尾迹红外位置信息数据的数量大于或等于尾迹光谱位置信息数据的数 量， 则进一 步改进步骤2中光谱数据处 理方法的主成分 分析n值选取； 参数调节完成后， 并重复执 行上述步骤1至步骤3； 步骤5. 判定为此目标区域为尾迹目标 区域； 此时， 面向尾迹识别的光谱数据处理方法 以及红外图像处 理方法融合效果达 到最优； 步骤6. 利用融合后的红外图像处理方法以及光谱数据处理方法， 对目标尾迹进行识 别。 2.根据权利要求1所述的尾迹识别方法， 其特 征在于， 所述步骤1具体为： 步骤1.1.  用红外热像仪采集基于 时间序列的原始红外图像温度数据Fi(x,y)； 其中， i 表示第i帧图像， 第i帧图像的大小为M ×N， (x,y)表示尾迹红外位置信息； 步骤1.2.  用小波降噪方法对 步骤1.1得到的基于时间序列的原始红外图像温度数据Fi (x,y)进行 预处理， 得到处 理后的红外图像温度数据fi(x,y)； 步骤1.3.  将步骤1.2中经过降噪处理后的红外图像温度数据fi(x,y)， 进行背景选取， 得到背景 数据fk(x,y) ， 即第k帧红外图像温度数据； 将步骤1.2中经过降噪处理后的红外图像温度数据fi(x,y)与步骤1.3中的背景数据fk (x,y)相减， 突出尾迹目标信息， 得到红外图像D(x,y)； 步骤1.4.  根据红外图像D(x,y)识别尾迹， 提取出包含尾迹信息的二值图像d(x,y)即 矩阵D， 得到尾迹红外位置信息数据{(x1,y1)  ,(x2 ,y2) ,...,(xd ,yd)}； 其中， (x1,y1)、 (x2  ,y2) ,..., (xd ,yd)分别表示第1,2,...,d个尾迹红外位置信 息。 3.根据权利要求2所述的尾迹识别方法， 其特 征在于， 所述步骤1.3中， 将降噪处理后的红外图像温度数据fi(x， y)进行帧间差分法， 得到红外 图像D(x,y)， 帧间差分法包括以下步骤： 选取基于时间序列的第k帧红外图像作为背景数据fk(x,y)； 选 取基于时间序列的第i帧 红外图像作为尾迹检测的红外图像温度数据fi(x,y)；权　利　要　求　书 1/3 页 2 CN 114758219 B 2帧间差分法的公式如下： 当| fk(x,y)‑  fi(x,y)|＞T时， D(x,y)=1， 否则， D(x,y)= 0， 阈值T由阈值分割法确定 。 4.根据权利要求3所述的尾迹识别方法， 其特 征在于， 所述步骤2具体为： 步骤2.1. 用光谱仪采集的光谱数据X 是一个 P 维随机变量； X=( x1,x2,  …, xN) =( X1, X2,  …, XP)T； 其中， N 是光谱数据的像元数目,  P是波段数目， xi表示光谱数据的第i个像元， i=1,   2,  …, N, Xk表示图像的第  k 个波段， k=1,  2,  …, P； 步骤2.2.  将光谱数据X进行预处理， 使用Savitzky ‑Golay卷积平滑滤波,公式如下： ； 其中， 为Savitz ky‑Golay卷积平滑滤波所得结果； 表示k点处经平滑的光 谱值， w表示滤波窗口宽度， xk+i表示第k+i段波段光谱数据； 步骤2.3.  通过主成分分析法分析光谱数据特征贡献率， 通过对贡献率的排序选取前n 个主成分作为 参考波段； 主成分 分析法包括以下步骤： 步骤2.3.1.  计算数据协方差矩阵， 并获得协方差矩阵∑x的特征值； 其中， λ1, λ2,  …, λP为协方差矩阵∑x的特 征值， 且 λ1≥λ2≥…≥λP≥0； 定义m表示X  的均值向量， m=∑N i=1Xi/N； 其中， Xi表示第i个 像元的光谱数据， ∑x表示协方差矩阵； ∑x  =E{(X‑m) (X‑m)T}； 步骤2.3.2.  将对应的特征值按照大小排序， 最大的特征值是第一主成分， 第二大的特 征值是第二主成分， Vn为选取前n个主成分作为 参考波段； Y=( Y1, Y2,  …, YP)T=AX； A=( t1, t2,  …, tP)； Vn=∑n i=1λi/∑P i=1λi； 其中， A表示主成分变换矩阵， Y1, Y2,  …, YP 表示X的第1主成分， 第2主成分， …,第p 主成分， t1, t2,  …, tP为特征值 λ1, λ2,  …, λP对应的单位特 征向量； 步骤2.4.  设δi1是∑x对角线上的值,  根据ρ(Yk,Xi)计算主成分Yk与原来第i个波段  Xi 的相关系数， Vi是进行波段选择的主 要依据， 选择最大Vi值对应的波段作为 最优波段； ρ(Yk,Xi)=  tik/  k,i=1,2, …,P； Vi=∑m k=1ρ2(Yk,Xi)= ∑m k=1λkt2 ik/ δi1； 其中， λk表示∑x的特 征值， tik表示单位特 征向量ti第k个值； 步骤2.5. 基于步骤2.4得到的最优波段的光谱数据构建光谱曲线； 步骤2.6.  在构建的光谱曲线中基于统计的方法识别与全局背景光谱存在较大差异的 像元， 提取尾迹光谱位置信息数据{(x1 ’,y1’) ,(x2’,y2’),…,(xd’,yd’)}； 其中， (x1 ’, y1’)、 (x2’,y2’) ,..., (xd’  ,yd’)分别表示第1,2,. ..,d个尾迹光谱位置信息 。 5.根据权利要求 4所述的尾迹识别方法， 其特 征在于， 所述步骤3具体为： 步骤3.1.  将提取的尾迹光谱位置信息数据， 构成一个大小为M ×N的矩阵， 其中， 尾迹 位置信息 置1， 其他位置置0， 构成一个光谱位置矩阵G； 步骤3.2. 将光谱位置矩阵G与红外位置矩阵D进行余弦相似度计算； 将光谱位置矩阵G表示为向量G=(g1,g2，…， gd)， 将红外位置矩阵D表示为向量D=(d1, d2，…， dd)， 则光谱位置矩阵G和红外位置矩阵D的余弦相似度为：权　利　要　求　书 2/3 页 3 CN 114758219 B 3