(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111648782.6 (22)申请日 2021.12.3 0 (71)申请人 上海理工大 学 地址 200093 上海市杨 浦区军工路516号 (72)发明人 江旻珊　徐湘　王裕　张学典　 (74)专利代理 机构 北京东方盛凡知识产权代理 事务所(普通 合伙) 11562 代理人 陈光磊 (51)Int.Cl. G06T 11/00(2006.01) G06V 10/764(2022.01) G06V 10/26(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的OCTA图像运动矫正方 法 (57)摘要 本发明公开了一种基于深度学习的OCTA图 像运动矫正方法， 包括： 采 集OCTA图像， 对OCTA图 像进行预处理， 获得初始数据集， 并将初始数据 集划分为训练集和测试集； 构建神经网络模型， 基于训练集对神经网络模型进行训练， 获得第一 神经网络模 型； 基于测试集对第一神经网络模型 进行测试， 获得第二神经网络模型； 基于第二神 经网络模型对OCTA图像进行修复， 获得目标图 像。 本发明无需额外拍摄大量重复图像用来消除 伪影， 无需额外的集成用于检测运动的硬件， 就 可以高效的修复OCTA中因为运动而引 起的图像 伪影， 结构 简单， 效率高， 应用范围广。 权利要求书2页 说明书5页 附图2页 CN 114332278 A 2022.04.12 CN 114332278 A 1.一种基于深度学习的OCTA图像运动矫 正方法,其特 征在于， 包括： 采集OCTA图像， 对所述OCTA图像进行预处理， 获得初始数据集， 并将所述初始数据集划 分为训练集和 测试集； 构建神经网络模型， 基于所述训练集对所述神经网络模型进行训练， 获得第一神经网 络模型； 基于所述测试集对所述第一神经网络模型进行测试， 获得第二神经网络模型； 基于所述第二神经网络模型对所述OCTA图像进行修复， 获得目标图像。 2.根据权利要求1所述的基于深度 学习的OCTA图像运动矫正方法， 其特征在于， 对所述 OCTA图像进行 预处理的过程包括对所述OCTA图像进行裁 剪操作、 数据增强操作； 所述裁剪操作为将所述OCTA图像裁 剪为512x512大小； 所述数据增强操作为将裁剪后的得到的图片进行垂直翻转， 水平翻转， 顺时针旋转90 度， 顺时针旋转180度， 顺时针旋转270度的翻转和旋转操作， 获得 所述初始数据集。 3.根据权利要求1所述的基于深度学习的OCTA图像运动矫 正方法， 其特 征在于， 构建所述神经网络模型包括构建 分类神经网络模型和构建 分割修复神经网络模型； 构建所述分类神经网络模型的过程为， 使用改进的ResNet50作为基础分类网络， 将协 同注意力模块嵌入到I nception结构中； 构建所述分割修复神经网络模型包括构建 分割神经网络和构建修复神经网络 。 4.根据权利要求3所述的基于深度学习的OCTA图像运动矫 正方法， 其特 征在于， 所述分类神经网络模型的工作过程为， 基于预处理后的OCTA图像， 通过所述协同注意 力模块沿第一空间方向捕获长程依赖， 沿第二空间方向保留精确的位置信息， 生成第一特 征图并对所述第一特征图进行编码， 获得一对方向感知和 位置敏感的第二特征图； 根据所 述第二特征图对 所述OCTA图像进行分类， 获得分类结果； 将分类结果中正常OCTA图像去除， 异常OCTA图像发送至分割修复神经网络模型进行分割。 5.根据权利要求3所述的基于深度学习的OCTA图像运动矫正方法， 其特征在于， 还包 括， 所述分割修复神经网络模型基于改进的U ‑Net卷积神经网络进行分割， 通过堆叠门卷 积层修复OCTA图像中的伪影； 所述改进的U ‑Net卷积神经网络包括编码器路径、 上采样路径。 6.根据权利要求5所述的基于深度学习的OCTA图像运动矫正方法， 其特征在于， 还包 括， 所述编码器路径包括使用ResNet ‑50的卷积神经网络进行下采样， 在编码器编码过程 中通道数上升， 特征图缩小； 在编 码器的末端加入空间金字塔池化模块， 采用不同大小的池 化操作从编码器中提取目标， 实现多尺度提取； 所述上采样路径包括， 在上采样过程中每一步都对图像进行上采样， 在恢复图像分辨 率的过程中图像的通道数减半， 上采样的特征图与来自收缩路径中经过协同注意力处理的 特征图在通道维度上进行拼接， 实现精准定位； 基于第二特征图， 通过1*1卷积层将通道数 映射到分割的类别数， 每个通道上的点为像素所属类别的概率； 根据所述概率， 通过堆叠门 卷积层来 修复OCTA图像中的伪影。 7.根据权利要求1所述的基于深度学习的OCTA图像运动矫 正方法， 其特 征在于，权　利　要　求　书 1/2 页 2 CN 114332278 A 2基于所述训练集对所述神经网络模型进行训练， 所述训练过程为， 采用PyTorch深度学 习框架搭建训练模 型， 采用Dice  Loss损失函数和Adam优化器进 行模型训练， 输入训练集数 据经过多轮迭代， 调整模型参数， 获得 所述第一神经网络模型。 8.根据权利要求1所述的基于深度学习的OCTA图像运动矫 正方法， 其特 征在于， 基于所述测试集对所述第一神经网络模型进行测试包括， 基于整体评价指标mIOU， 各 分类评价指标F1  Score和集合相似度度量指标Dice， 通过将所述测试集输入 所述第一神经 网络模型完成模型的性能评估， 获得 所述第二神经网络模型。权　利　要　求　书 2/2 页 3 CN 114332278 A 3