(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210651501.0 (22)申请日 2022.06.10 (65)同一申请的已公布的文献号 申请公布号 CN 114724012 A (43)申请公布日 2022.07.08 (73)专利权人 天津大学 地址 300072 天津市南 开区卫津路9 2号 专利权人 青岛海洋科学与技术国家实验室 发展中心 (72)发明人 宋丹　方正豪　刘安安　李文辉　 魏志强　聂婕　张文生　孙正雅　 (74)专利代理 机构 天津市北洋 有限责任专利代 理事务所 12 201 专利代理师 李林娟 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) G01W 1/10(2006.01) (56)对比文件 CN 112016472 A,2020.12.01 CN 113673307 A,2021.1 1.19 CN 112733749 A,2021.04.3 0 CN 113360659 A,2021.09.07 CN 114463677 A,2022.05.10 CN 112016472 A,2020.12.01 CN 113657380 A,2021.1 1.16 CN 114547298 A,202 2.05.27 CN 113989343 A,202 2.01.28 Qi Han.ON TH E CONNECTION BETWE EN LOCAL AT TENTION. 《arXiv:210 6.04263v4》 .2022,全文. (续) 审查员 王明芳 (54)发明名称 基于时空跨尺度注意力融合热带不稳定波 预警方法及装置 (57)摘要 本发明公开了一种基于时空跨尺度注意力 融合热带不稳定波预警方法及装置， 方法包括： 将多尺度空间数据输入对应的分支网络进行相 应尺度下特征图的计算， 并计算正则化损失； 将 多尺度特征图利用双边局部注意力机制实现跨 尺度空间图融合， 生成全局特征描述图计算预测 损失， 并将预测损失与正则化损失联合用于神经 网络的优化训练； 基于优化训练后的神经网络对 时刻T的海表温度进行预测， 选择T时刻之前的K 个时刻数据输入优化训练后的神经网络， 该优化 训练后的神经网络的输出为热带不稳定波的预 测值， 通过将预测值与坐标关联， 绘制热带不稳 定波的时空图像， 实现对热带不稳定波的预警。装置包括： 处理器和存储器。 本发明对热带不稳 定波的高效预警， 减少了自然灾害。 [转续页] 权利要求书3页 说明书10页 附图3页 CN 114724012 B 2022.08.23 CN 114724012 B (56)对比文件 Tan Yu.BOAT: Bi lateral L ocal Attention Vision Transformer. 《arXiv: 2201.13027v1》 .202 2,全文.2/2 页 2[接上页] CN 114724012 B1.一种基于时空跨尺度注意力融合热带不稳定波预警方法， 其特征在于， 所述方法包 括： 基于所有时刻、 各个位置的海表二维温度图像， 利用卷积、 反卷积网络对海表温度时空 数据进行 上、 下采样， 生成多尺度空间数据； 将多尺度空间数据输入对应的分支网络进行相应尺度下特征图的计算， 并计算正则化 损失； 将多尺度 特征图利用双边局部注意力 机制实现跨尺度空间图融合， 生成全局特征描述 图， 利用全局特征描述图计算预测损失， 并将预测损失与正则化损失联合用于神经网络的 优化训练； 基于优化训练后的神经网络对时刻T的海表温度进行预测， 选择T时刻之前的K个时刻 数据输入优化训练后的神经网络， 该优化训练后的神经网络的输出为热带不稳定波的预测 值， 通过将预测值与坐标关联， 绘制热带不稳定波的时空图像， 实现对热带不稳定波的预 警； 所述将多尺度特 征图利用双边局部注意力机制实现跨尺度空间图融合具体为： 构建跨尺度注意力机制减少不同尺度特征图之间的冗余信息， 其利用softmax层生成 注意力Ak， 通过散度正则化项增大不同尺度注意力之间的散度， 散度正则化项的公式如下： ldiv(Ak,Al)＝1‑sim(Ak,Al) 其中， Al为注意力特征， ldiv为散度正则化计算结果， sim为相似度计算函数； C为通道数； CNN为多尺度特征网络分支， 为经过对应CNN提取的时空数据特征； k为 卷积核尺寸； t为时刻； 将大尺度特 征图变换为匹配的尺寸： 其中， P表示间隔为2的最大池化操作， wc是卷积的参数； 中尺度分支的特征图大小为 R为实数空间， H为图像高度； W 为图像宽度； l的取值范围1到2； 大尺度特征图与中尺度 特征图的尺寸匹配， 采用特征图平均的方式将大尺度信 息与中 尺度信息融合， 得到融合特 征图 T为输入数据的时刻长度； 对融合特征图进行局 部分解操作， 将每一时刻的Ft均匀分解成h*w个子区域， 在子区域 中通过平均池化得到最终融合特 征图。 2.根据权利要求1所述的一种基于时空跨尺度注意力融合热带不稳定波预警方法， 其 特征在于， 所述将多尺度空间数据输入对应的分支网络进 行相应尺度下特征图的计算具体 为： 构建多尺度特征网络分支， 每个分支网络提取空间特征图， 每个分支网络CNNk由五层卷 积神经网络构成， 共 包含三层卷积、 最大池化操作以及一个多层感知机模块； 三个卷积层均为二维卷积操作， 其输出维度分别为1024*1024， 512*512和256*256； 最权　利　要　求　书 1/3 页 2 CN 114724012 B 3