(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210575115.8 (22)申请日 2022.05.25 (71)申请人 天津大学 地址 300072 天津市南 开区卫津路9 2号 申请人 青岛海洋科学与技术国家实验室发 展中心 (72)发明人 李文辉　苏新奇　刘安安　宋丹　 魏志强　聂婕　张文生　孙正雅　 (74)专利代理 机构 天津市北洋 有限责任专利代 理事务所 12 201 专利代理师 李林娟 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/40(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06Q 10/04(2012.01) G06Q 50/26(2012.01) (54)发明名称 基于知识蒸馏的海洋大数据协同表示的预 警方法及装置 (57)摘要 本发明公开了一种基于知识蒸馏的海洋大 数据协同表示的预警方法及装置， 方法包括： 构 造用于提取不同尺度的输入数据特征的多尺度 自注意力网络， 作为知识蒸馏的教师网络， 分别 用于预测T IWs任务以及ENSO任 务； 构造一单尺度 网络用于 预测TIWs以及ENSO任 务， 作为知 识蒸馏 的学生网络， 分别利用多尺度教师网络提取两个 任务数据的不同尺度的SST图的特征序列， 并将 特征序列聚合后连接到学生网络的主干卷积层 中， 进行基于特征序列的知识蒸馏； 获取训练后 的学生网络； 基于训练后的学生网络对ENSO、 TIWs现象进行预测， 当超过相应的阈值时， 进行 ENSO、 TIWs现象的预 警， 减少ENSO、 TIWs灾难的发 生。 装置包括： 处理器和存储器。 本发明提高了 TIWs和ENSO的预警精度， 减少了灾难性的发生。 权利要求书2页 说明书12页 附图4页 CN 114913400 A 2022.08.16 CN 114913400 A 1.一种基于知识蒸馏的海洋大 数据协同表示的预警方法， 其特 征在于， 所述方法包括： 构造用于提取不同尺度的输入数据 特征的多尺度自注意力网络， 作为知识蒸馏的教师 网络， 分别用于预测TIWs任务以及ENSO任务， 对两个多尺度自注意力教师网络分别进行预 训练； 构造一单尺度网络用于预测TIWs以及ENSO任务， 作为知识蒸馏的学生网络， 分别利用 多尺度自注意力教师网络提取两个任务数据的不同尺度的SST图的特征序列， 并将特征序 列聚合后连接 到学生网络的主干卷积层中， 进行基于特 征序列的知识蒸馏； 将多尺度自注意力教师网络对TIWs以及ENS O任务的预测结果作 为下限， 真实的标签作 为上限， 约束学生网络预警精度不低于教师网络， 获取训练后的学生网络； 基于训练后的学生网络对ENSO、 TIWs现象进行预测， 当超过相应 的阈值时， 进行ENSO、 TIWs现象的预警， 减少ENSO、 TI Ws灾难的发生。 2.根据权利要求1所述的一种基于知识蒸馏的海洋大数据协同表示的预警方法， 其特 征在于， 所述构造用于提取不同尺度的输入数据特征 的多尺度自注意力网络， 作为知识蒸 馏的教师网络， 分别用于预测TI Ws任务以及ENSO任务具体为： 预测ENSO任务的多尺度自注意力教师网络， 由3个连续堆叠的多尺度层组成， 从底部到 顶部分别处理不同尺度的SST图， 分别为Multi ‑scale layer 1， Multi‑scale layer 2， Multi‑scale layer 3， 每个多尺度层包含4个级联的CNN， 在第2 个和第3个级联的卷积层之 间包含一个时间维度自注意力模块， 对于最底层的多尺度层Multi ‑scale layer 1还包含 一全连接层； 预测TIW任务的多尺度自注意力教师网络， 由3个连续堆叠的多尺度层组成， 每个多尺 度层包含4个级联的CNN， 在第2个和第3个级 联的卷积层之间还包含一时间维度自注 意力模 块TSA， 对于最底层的多尺度层Multi ‑scale layer 1还包含一CNN； 每个SST图经过连续2次下采样后， 输入到不同的多尺度层， 级联CNN用于提取不同尺度 SST图的特 征。 3.根据权利要求2所述的一种基于知识蒸馏的海洋大数据协同表示的预警方法， 其特 征在于， 所述时间维度自注意力模块用于 关注不同时刻的输入 数据之间的联系， 除底层外， 每个多尺度层的输出 经过上采样后， 与下一层多尺度层的输入进行多尺度特 征的聚合。 4.根据权利要求3所述的一种基于知识蒸馏的海洋大数据协同表示的预警方法， 其特 征在于， 所述时间维度自注意力模块的输入为前一个CN N提取的特 征SST： Fs＝RC×H×W 其中R为实数域， 使用Fs乘以一组权重矩阵Wq,Wk,Wv， 分别得到Fq,Fk,Fv， 接下来， 将Fq和 FkT相乘经过softmax得到每个时刻特征图与当前特征图的权重， 再乘以Fv得到FST＝RC×H×W， 最终的TSA模块的输出为： Fs′＝FST+Fs。 5.根据权利要求1所述的一种基于知识蒸馏的海洋大数据协同表示的预警方法， 其特 征在于， 所述将多尺度网络特征序列聚合后连接到学生网络的主干卷积层中， 进行基于特 征序列的知识蒸馏具体为： 对不同多尺度层的同一位置的第j个级联卷积层输出的特征序列， 使用上采样后， 再经权　利　要　求　书 1/2 页 2 CN 114913400 A 2过Max Pooling得到聚合后的特 征 得到不同堆叠多尺度层的、 相同位置的级联卷积层特 征聚合的序列为 对于特征聚合序列 中不同堆叠多尺度层第j个级联卷积层聚合的特征 以及学生 网络第j个级联卷积层输出的特征zj， 张量的维度均为C ×H×W， 使用一个映射函数F将3D张 量映射为2D： F:RC×H×W→RH×W 映射函数F使用绝对值的p次方的和： 经过映射和聚合， 分别得到了两个教师网络在不同多尺度层、 但位置相同的级联卷积 层输出的2D张量特征序列， 以及学生网络对两个不同任务的数据序列， 然后经过每个级联 卷积层输出 特征经过通道聚合后的2D张量特 征序列， 最后进行基于特 征的知识蒸馏。 6.一种基于知识蒸馏的海洋大 数据协同表示的预警装置， 其特 征在于， 所述装置包括： 多尺度自注意力网络模块， 用于构造用于提取不同尺度的输入数据特征的多尺度自注 意力网络， 作为知识蒸馏的教师网络， 分别用于预测TIWs任务以及ENSO任务， 对两个多尺度 自注意力教师网络分别进行 预训练； 特征序列的知识蒸馏模块， 用于构造一单尺度网络用于预测TIWs以及ENSO任务， 作为 知识蒸馏的学生网络， 分别利用多尺度自注意力教师网络提取两个任务数据的不同尺度的 SST图的特征序列， 并将特征序列聚合后连接到学生网络的主干卷积层中， 进 行基于特征序 列的知识蒸馏； 训练模块， 用于将多尺度自注意力教师网络对TIWs以及ENSO任务的预测结果作为下 限， 真实的标签作为上限， 约束学生网络预警精度不低于教师网络， 获取训练后的学生网 络； 预警模块， 用于基于训练后的学生网络对ENS O、 TIWs现 象进行预测， 当超过相应的阈值 时， 进行ENSO、 TI Ws现象的预警， 减少ENSO、 TI Ws灾难的发生。 7.一种基于知识蒸馏的海洋大数据协同表示的预警装置， 其特征在于， 所述预警装置 包括： 处理器和存 储器， 所述存储器中存储有程序指令， 所述处理器调用存储器中存储的程序指令以使装置执 行权利要求1 ‑5中的任一项所述的方法步骤。 8.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机程 序， 所述计算机程序包括程序指令， 所述程序指令被处理器执行时使所述处理器执行权利 要求1‑5中的任一项所述的方法步骤。权　利　要　求　书 2/2 页 3 CN 114913400 A 3