(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210568094.7 (22)申请日 2022.05.24 (71)申请人 合肥工业大 学 地址 230009 安徽省合肥市包河区屯溪路 193号 (72)发明人 蒋翠清　车万留　刘艳清　王钊　 丁勇　 (74)专利代理 机构 北京久诚知识产权代理事务 所(特殊普通 合伙) 11542 专利代理师 王云海 (51)Int.Cl. G06V 20/68(2022.01) G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于多模态深度学习的作物营养状态诊断 方法和系统 (57)摘要 本发明提供一种基于多模态深度学习的作 物营养状态诊断方法和系统， 涉及作物营养状态 诊断技术领域。 本发明实施例设计了一种多模态 特征交互的多头注意力神经网络层， 使得各模态 信息， 例如图片、 文本和土壤养分信息实现相互 融合， 增强了多模态特征的互补性和一致性； 为 了进一步挖掘作物营养状态诊断过程中各个模 态对结果的影响程度， 还在LS TM网络的基础上进 行改进， 创新出一种模态门以自适应赋予每种模 态不同的权重。 多模态交互注 意力机制和增加模 态门的LSTM网络的模型设计， 不仅实现作物生育 期各模态的有机交互， 而且自适应的赋予各模态 不同的权重， 控制每种目标模态的输出， 实现作 物营养状态的及时、 精准、 智能诊断， 为大规模肥 料个性化定制奠定 基础。 权利要求书3页 说明书11页 附图2页 CN 115035512 A 2022.09.09 CN 115035512 A 1.一种基于多模态深度学习的作物营养状态诊断方法， 其特 征在于， 包括： S1、 分别采集多模态的作物营养状态诊断数据； S2、 根据所述作物营养状态诊断数据， 获取 各模态特 征并映射到相同维度的特 征空间； S3、 根据维度相同的各模态特征， 采用预设的多模态深度学习模型获取作物营养状态 诊断结果； 所述多模态深度学习模型包括多模态交互注意力神经网络层和多模态门控神经网络 层， 所述多模态门控神经网络层中在输入门前增 加一个模态门结构， 所述S3包括： S31、 将所述维度相同的各模态特征输入多模态交互注意力神经网络层， 获取不同的模 态间融合结果； S32、 将不同的所述模态间融合结果输入多模态门控神经网络层， 获取各模态特征的权 重； S33、 将多模态门控神经网络层输出的各模态特征的权重与全连接层、 softmax层相连 接， 获取作物营养状态诊断级别对应的概 率， 所述概率用于确定最终的诊断结果。 2.如权利要求1所述的作物营养状态诊断方法， 其特征在于， 所述多模态的作物营养状 态诊断数据包括： 按照时间前后拍摄的作物生育期图片、 由专家依据作物生长态势提供且 与前述图片内容对应的文本描述、 以及由土壤多传感器传输且与前述图片拍摄时间对应的 土壤性状数据。 3.如权利要求2所述的作物营养状态诊断方法， 其特 征在于， 所述S2包括： S21、 采用卷积神经网络提取所述各作物生育期图片的第一图片特征； 采用Word2vec、 BERT或者TF ‑IDF提取所述文本描述的第一文本特征； 采用MLP提取所述土壤性状数据的第 一土壤特 征； S22、 根据预设的多模态特征同维基础块， 将各模态特征维数标准化， 分别获取相同维 度的第二图片特 征、 第二文本特 征和第二土壤特 征。 4.如权利要求3所述的作物营养状态诊断方法， 其特征在于， 所述S22中的多模态特征 同维基础块的结构依次包括： 步长为2的卷积层、 步长为1的卷积层、 多头注意力层、 步长为1的卷积层、 ReLu激活层、 步长为1的卷积层、 多头注意力层、 步长为1的卷积层。 5.如权利要求3所述的作物营养状态诊断方法， 其特 征在于， 所述S31包括： 从第二图片特征If、 第二文本特征Tf和第二土壤特征Sf任意选择两种模态特征 输入多头注意力模块进行双模态融合， 第三种模态特征 与前两种模态特征交互的结果 执行进一步融合操作， 获取三种模态间融合结果 I′fT′fS′f、 I′fS′fT′f、 T′fS′fI′f。 6.如权利要求5所述的作物营养状态诊断方法， 其特征在于， 任一种模态间融合结果的 获取过程包括： 使 分别作为多头注意力机制的查询Query， 另一特征作 为键key、 值value得到 分别得到 权　利　要　求　书 1/3 页 2 CN 115035512 A 2式中LN(·)表示层归一 化处理， d表示模态特 征一致后的维度； 将 执行拼接和卷积 操作， 将执 行结果作为第一层模态间交 互结果 将该结果与 执行第二层模态间交 互； 将 执行拼接和卷积操作， 将执行结果作为第二层模态间交互结果 将 通过上述模态间交互模块得到 将 作为模态间融合结 果。 7.如权利要求6所述的作物营养状态诊断方法， 其特 征在于， 所述S32包括： 令多模态交互网络模块的输出I ′fT′fS′f、 I′fS′fT′f、 T′fS′fI′f分别为XSt、 XTt、 XIt， t＝ 0,…,N； 通过模态门结构以自适应为每种模态特征赋予不同的权重， 控制每个目标模态的 输出， mt＝σ(W(m)·XSt+V(m)·XTt+U(m)·XIt+Q(m)·ht‑1) xt＝concate(mt[0]·XSt,mt[1]·XTt,mt[2]·XIt) 式中， mt表示t时刻的模态门， 且 M为模态数量， XSt、 XTt、 XIt表示三模态t时 刻的输入向量， W(m)、 V(m)、 U(m)、 Q(m)代表模态门变换中的权重矩阵， σ 表示Sigmoid激活函数， ht‑1是第t‑1个LSTM单 元输出； ft＝σ(W(f)xt+U(f)ht‑1) it＝σ(W(i)xt+U(i)ht‑1) ot＝σ(W(o)xt+U(o)ht‑1) ut＝tanh(W(u)xt+U(u)ht‑1) ct＝it⊙ut+ft⊙ct‑1 ht＝ot⊙tanh(ct) 其中， ft、 it、 ot、 ct、 ht分别表示t时刻的遗忘门、 输入门、 输出 门、 细胞状态、 细胞输出； W (f)、 U(f)表示遗忘门的权重矩阵； W(i)、 U(i)表示输入门的权重矩阵； W(o)、 U(o)表示输出门的权 重矩阵； W(u)、 U(u)表示细胞状态的权 重矩阵； ut表示细胞状态更新 值，⊙表示Hadamard积。 8.一种基于多模态深度学习的作物营养状态诊断系统， 其特 征在于， 包括： 采集模块， 用于执 行S1、 分别采集多模态的作物营养状态诊断数据；权　利　要　求　书 2/3 页 3 CN 115035512 A 3