(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210530411.6 (22)申请日 2022.05.16 (71)申请人 哈尔滨航天恒星数据系统科技有限 公司 地址 150028 黑龙江省哈尔滨市高新 技术 产业开发区科技创新城创新路1616号 5号楼 (72)发明人 宋振强　魏茂盛　高磊　王众娇　 翟建宝　潘拓　郭凌峰　张丽丽　 (74)专利代理 机构 北京君恒知识产权代理有限 公司 11466 专利代理师 姜有维 (51)Int.Cl. G06V 20/10(2022.01) G06K 9/62(2022.01)G06V 10/26(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) (54)发明名称 基于多维融合深度学习技术的多时相农作 物分类方法 (57)摘要 本发明涉及遥感图像处理及人工智能语义 分割与应用的技术领域， 更具体的说是基于多维 融合深度学习技术的多时相农作物分类方法， 步 骤一： 提取光谱信息、 植被特征信息及纹理信息， 生产合成影像数据； 步骤二： 实地采集的作物种 类样本数据， 在影像图上进行农作物的标注， 制 作样本标签数据； 步骤三： 网络结构 的设计与训 练； 步骤四： 利用设计的网络 结构， 结合样本标签 数据进行训练网络， 获得三类分类结果； 步骤五： 利用设计的GFCC分类融合方法对三类分类结果 进行融合， 得到最终分类结果； 可 以解决传统遥 感影像分类算法中存在的标签重复标注、 单一时 相分类、 边界分类模糊、 忽略特征信息、 光谱信 息、 纹理信息的组合对作物识别结果精度的影 响。 权利要求书5页 说明书11页 附图4页 CN 115100515 A 2022.09.23 CN 115100515 A 1.基于多维融合深度学习技术的多时相农作物分类方法， 其特征在于： 该方法包括以 下步骤： 步骤一： 提取光谱信息、 植被特征信息及纹理信息， 利用提取的信息进行波段合成， 生 产合成影 像数据； 步骤二： 实地采集的作物种类样本数据， 在影像图上进行农作物的标注， 制作样本标签 数据； 步骤三： 网络结构的设计与训练； 步骤四： 利用设计的网络结构， 结合样本标签数据进行网络训练， 获得分类结果； 步骤五： 利用设计的GFC C分类融合方法对分类结果进行融合， 得到最终分类结果。 2.根据权利要求1所述的基于多维融合深度学习技术的多时相农作物分类方法， 其特 征在于： 所述网络结构为Res3DNet_SegNet、 Res2DNet_SegNet、 Res1DNet_SegNet。 3.根据权利要求2所述的基于多维融合深度学习技术的多时相农作物分类方法， 其特 征在于： 所述网络结构的设计需要计算公式、 co nvMD_block层及identityMD_bl ock层。 4.根据权利要求3所述的基于多维融合深度学习技术的多时相农作物分类方法， 其特 征在于： 所述网络结构的计算公式如下： 公式一： 公式二： 公式三： Xout＝ft@Pout×Cout×Cout 公式四： 公式五： 公式六： 公式七： 公式八： 公式九： 公式中： Pout代表卷积后时相层， Cout代表影像分类网络层， Xout代表Res3DNet_Se gNet卷 积后特征图尺寸， Pin代表上一层影像的时相数， Padp代表时相层图层填充数， Padc代表影像 分类网络层填充数， Kz代表核尺寸， stridesp代表时相 层图层步长， stridesc代表影像分类 网络层步长， ft代表特征图， BN代表批标准化层， relu代表激活函数层， i＝0,1,2 …,N‑1， N 代表一个训练批量的大小， F代 表分类总数， ai代表每个分类标签的概 率分布； Res2DNet_SegNet 卷积后去掉公式中Pout参数， Res2D Net_SegNet公式三为Xout＝ft@Cout ×Cout； Res1DNet_SegNet卷积后去掉Pout和Cout， Res1DNet_SegNet公式三 为Xout＝ft@Cout。 5.根据权利要求4所述的基于多维融合深度学习技术的多时相农作物分类方法， 其特 征在于： 定义convMD_block层： 其中涵盖卷积层、 批标准化层、 激活函数层各4层， 每一层的 输入参数分别为：权　利　要　求　书 1/5 页 2 CN 115100515 A 2input＝X,ft＝(ft1， ft2， ft3)， Kz＝(Kz1， Kz2， Kz3)， Padp＝(Padp1， Padp2， Padp3)， Padc ＝(Padc1， Padc2， Padc3)， stridesp＝(stridesp1， stridesp2， stridesp3)， stridesc＝ (stridesc1,stridesc2,stridesc3)。 6.根据权利要求4所述的基于多维融合深度学习技术的多时相农作物分类方法， 其特 征在于： 定义i dentityMD_b lock层： 其中涵盖卷积层、 批标准化层、 激活函数层各3层， 每一 层的输入参数分别为： input＝X,ft＝(ft1， ft2， ft3)， Kz＝(Kz1， Kz2， Kz3)， Padp＝(Padp1， Padp2， Padp3)， Padc ＝(Padc1， Padc2， Padc3)， stridesp＝(stridesp1， stridesp2， stridesp3)， stridesc＝ (stridesc1,stridesc2,stridesc3)。 7.根据权利要求4所述的基于多维融合深度学习技术的多时相农作物分类方法， 其特 征在于： 所述Res3DNet_SegNet网络结构为， Res3DNet_SegNet网络的第0层为输入层， 输入 图像大小为14@5 ×32×32， 第一层网络结构为卷积层Covn3D、 批标准化层BN、 激活函数层 relu和池化层Maxpo ol3D； Res3DNet_SegNet网络计算过程如下： 初始化第0层参数为Pin＝5， Cin＝32， Padp＝1、 Padc＝1、 stridesp＝1， stridesc＝1、 Kz＝2， ft＝64， 分别代入公式一、 公式二、 公式三得到 Pout＝5， Cout＝32， 将 输入到BN层得到 将 输入到relu 层得到 并将 标记为F1＝64@5×32×32； 将F1输入到Maxpool3D， 输入参数为Pin＝5， Cin＝31， Padp＝1、 Padc＝0、 stridesp＝1， stridesc＝2、 Kz＝2， ft＝64， 分别代入公式一、 公式二、 公式三得到Pout＝5， Cout＝16， 将 ft＝(64， 64， 256)， Kz＝(1， 3， 1)， Padp＝(0， 2， 0)， Padc＝(0， 2， 0)， stridesp＝(1， 1， 1)， stridesc＝(1， 1， 1)输入到convMD_block层， 得到X＝256@5 ×16×16， 再将input＝X,ft＝(64， 64， 256)， Kz＝(1， 3， 1)， Padp＝(0， 2， 0)， Padc＝(0， 2， 0)， stridesp ＝(1， 1， 1)， stri desc＝(1， 1， 1)输入到identityMD_block， 连续2次， 得到新的X＝256@5 × 16×16， 并将X 标记为F2； 将F2输入到Maxpool3D， 输入参数为Pin＝5， Cin＝16， Padp＝1、 Padc＝0、 stridesp＝1， stridesc＝2、 Kz＝2， ft＝256， 分别代入公式一、 公式二、 公式三得到Pout＝5， Cout＝8， 将 ft＝(256， 256， 1024)， Kz＝(1， 3， 1)， Padp＝(0， 2， 0)， Padc＝(0， 2， 0)， stridesp＝(1， 1， 1)， stridesc＝(1， 1， 1)输入到conv MD_block层， 得到X＝1024@5 ×8×8， 再 将input＝X,ft＝(256， 2 56， 1024)， Kz＝(1， 3， 1)， Padp＝(0， 2， 0)， Pa dc＝(0， 2， 0)， stridesp ＝(1， 1， 1)， stridesc＝(1， 1， 1)输入到identityMD _block， 连续3次， 得到新的X＝1024@5 × 8×8， 并将X标记为F3； 将F3进行反卷积上采样， 将F3， ft＝1024， Kz＝3， Padp＝2， Padc＝2， stridesp＝1， stridesc＝1输入到公式一至公式四得到UF3＝1024@5 ×8×8； 将UF3， 代入到公式六至公式八得到UF2＝1024@5 ×16×16， 再将 UF2， ft＝256， Kz＝3， Padp＝2， Padc＝2， stridesp＝1， stridesc＝1输入到公式一至公式四得权　利　要　求　书 2/5 页 3 CN 115100515 A 3