(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210914347.1 (22)申请日 2022.08.01 (71)申请人 上海工程 技术大学 地址 201620 上海市松江区龙腾路3 33号 (72)发明人 赵晓丽　周浩军　方志军　 (74)专利代理 机构 上海唯智赢专利代理事务所 (普通合伙) 31293 专利代理师 刘朵朵 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/80(2022.01) G06T 7/00(2017.01) G06N 3/04(2006.01) (54)发明名称 一种时空特征融合的眼震视频分类方法及 系统 (57)摘要 本发明公开了一种时空特征融合的眼震视 频分类方法及系统， 属于医学图像处理的视频分 类技术领域。 包括对眼震视频进行编码映射， 通 过Spatial  Transformer模块和Temporal   Transformer模 块得到空间维度特征和时间维度 特征； 将其通过时空特征融合模块， 得到融合的 时空特征； 然后输入所述Temporal ‑Spatial  Transformer继续进行特征提取， 获得特征图； 最 后通过全 连接层和分类函数得到分类结果。 本发 明采用了一种新颖的时空特征融合Tran sformer 框架， 无需进行手工特征提取， 能够很好地对 眼 震视频进行 特征提取， 提高了分类的精度。 权利要求书2页 说明书7页 附图3页 CN 115482408 A 2022.12.16 CN 115482408 A 1.一种时空特征融合的眼震视频分类方法， 其特征在于， 该分类方法具体包括如下步 骤： (1)获取眼震视频信息， 构建包括Spatial  Transformer模块、 Temporal  Transformer 模块， 时空特 征融合模块和Temporal ‑Spatial Transformer模块的眼震视频分类模型； (2)对所述视频信息分别进行编码映射， 通过所述Spatial  Transformer模块和 Temporal Transformer模块得到空间维度特 征和时间维度特 征； (3)将所述空间维度特征和时间维度特征通过所述时空特征融合模块， 得到融合的时 空特征； (4)将所述融合的时空特征输入所述Temp oral‑Spatial Transformer继续进行特征提 取， 获得特征图； (5)将所述特 征图通过全连接层和分类函数 得到分类结果； (6)基于该分类结果和真实标签， 通过损失函数约束， 以迭代训练所述眼震视频分类模 型， 直到损失函数收敛或达到预设迭代 次数， 保存当前眼震视频分类模型作为最终识别模 型； (7)将待分类眼震视频信息输入所述最终识别模型， 得到该待分类 眼震视频信息的类 别。 2.根据权利要求1所述的一种时空特征融合的眼震视频分类方法， 其特征在于， 所述步 骤2包括： (1 .1)对所述视频信息进行时间维度等幅采样， 采样后输入所述Spatial   Transformer， 获取 所述空间维度特 征； (1.2)对所述视频信进行空间维度等幅采样， 采样后输入所述Temp oral Transformer， 获取所述时间维度特 征。 3.根据权利要求1所述的一种时空特征融合的眼震视频分类方法， 其特征在于， 所述步 骤3中时空特征融合模块包括： Piont ‑Wise卷积模块、 GeLu激活函数模块及Sigmoid激活函 数模块； 具体过程包括： (3.1)将所述空间维度特征和时间维度特征分别输入所述Piont ‑Wise卷积模块进行一 次线性变换； (3.2)将所述线性变换 结果分别通过 所述GeLu激活函数模块对其进行非线性激活； (3.3)所述非线性激活结果分别再通过 所述Piont‑Wise卷积模块进行一次线性变换； (3.4)将两个所述线性变换结果相加后， 经由所述Sigmoid激活函数得到注意力权重 图； (3.5)将所述注意力权重图分别与所述空间维度特征和时间维度特征相乘， 得到经过 重标定后的特 征， 最后进行相加后得到所述融合后的时空特 征。 4.根据权利要求4所述的一种时空特征融合的眼震视频分类方法， 其特征在于， 所述步 骤3.4中在自注意力的计算阶段引入一个可以随网络训练而变化的相对位置表征编码， 计 算公式如下： 权　利　要　求　书 1/2 页 2 CN 115482408 A 2其中PEK代表可训练的相对位置表征编码在经 过相对位置索引后的结果。 5.根据权利要求1所述的一种时空特征融合的眼震视频分类方法， 其特征在于， 所述步 骤6中采用Ac curacy、 Precisi on、 Recall作为评价指标， 得到分类结果； 其中， TP、 FP、 TN、 FN分别代 表真阳性、 假阳性、 真阴性、 假阴性的数量。 6.根据权利要求1所述的一种时空特征融合的眼震视频分类方法， 其特征在于， 所述步 骤6损失函数采用的是自适应交叉熵损失， 其公式如下： 其中： 代表每个类别样本数量占总体样本数量的权 重系数， 由以下公式确定： 其中， Ni表示第i类的样本在数据集中的数量， 样本总别类数为K。 7.一种时空特 征融合的眼震视频分类系统， 其特 征在于， 包括： 获取模块： 用于获取眼震视频信息， 构建包括Spatial  Transformer模块、 Temporal   Transformer模块， 时空特征融合模块和Temporal ‑Spatial Transformer模块的眼震视频 分类模型； 编码模块： 用于对所述视频信息分别进行编码映射， 通过所述Spatial  Transformer模 块和Temporal  Transformer模块得到空间维度特 征和时间维度特 征； 融合模块： 用于将所述空间维度特征和时间维度特征通过所述时空特征融合模块， 得 到融合的时空特 征； 提取模块： 用于将 所述融合的时空特征输入所述Temp oral‑Spatial Transformer继续 进行特征提取， 获得 特征图； 识别模块： 用于将所述特 征图通过全连接层和分类函数 得到分类结果； 判断模块： 用于基于该分类结果和真实标签， 通过损失函数约束， 以迭代训练所述眼震 视频分类模型， 直到损失函数收敛或达到预设迭代 次数， 保存当前眼震视频分类模型作为 最终识别模型； 验证模块： 用于将待分类眼震视频信息输入所述最终识别模型， 得到该待分类眼震视 频信息的类别。权　利　要　求　书 2/2 页 3 CN 115482408 A 3