(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202110117345.5 (22)申请日 2021.01.28 (65)同一申请的已公布的文献号 申请公布号 CN 112926256 A (43)申请公布日 2021.06.08 (73)专利权人 武汉轻工大 学 地址 430023 湖北省武汉市 常青花园学府 南路68号 (72)发明人 张聪　张俊杰　曹文琪　陈方　 胡殿涛　吕鑫涛　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 严彦 (51)Int.Cl. G06F 30/27(2020.01)G01N 33/24(2006.01) G06F 119/02(2020.01) (56)对比文件 CN 111612246 A,2020.09.01 CN 109063903 A,2018.12.21 CN 106996969 A,2017.08.01 WO 2018125 620 A1,2018.07.0 5 US 201208934 4 A1,2012.04.12 张俊杰 等.重复利用状态值的竞争深度Q网 络算法. 《计算机 工程与应用》 .2020, 审查员 刘天晓 (54)发明名称 基于深度强化学习的土壤重金属含量预测 方法及系统 (57)摘要 本发明提供了一种基于深度强化学习的土 壤重金属含量预测方法及系统， 进行数据准备， 包括对原始的数据集进行预处理， 所述数据集包 括土壤重 金属含量数据和相应经纬度数据、 海拔 数据； 使用深度强化学习模型对土壤重金属数据 的特征进行提取， 对每个采样点的反距离加权算 法超参数进行学习和训练； 使用回归支持向量机 对学习到的最优超参数进行处理， 并构建土壤重 金属含量特征分布模型； 将插值点数据输入到分 布模型中得到相应的超参数， 作为插值点的特征 值， 然后使用得到的特征值对插值点分别进行反 距离加权插值， 最终得到插值点的重金属含量预 测值。 本发 明在低密度样本采集区域对区域中的 各个地点的土壤重金属含量进行较为精准的分 析和预测。 权利要求书2页 说明书6页 附图1页 CN 112926256 B 2022.06.14 CN 112926256 B 1.一种基于深度强化学习的土壤重金属含量预测方法， 其特 征在于， 包括以下步骤： 步骤1， 数据准备， 包括对原始的数据集进行预处理， 所述数据集包括土壤重金属含量 数据和相应经纬度数据、 海拔数据， 预处 理得到经纬度数据在笛卡尔坐标系下的坐标 数据； 步骤2， 超参数学习， 包括使用深度强化学习模型对土壤重金属数据的特征进行提取， 对每个采样点的反距离加权算法超参数进行 学习和训练， 得到最优 超参数； 步骤3， 分布模型构建， 包括使用回归支持向量机对步骤2学习到的最优超参数进行处 理， 结合每 个样本点 最近邻统计构建土壤重金属含量特 征分布模型； 构建实现方式为， 将学习到的超参数， 计算得到的最近邻统计值和采样点的位置信息 结合， 形成若干个多维空间离散点再使用回归支持向量机对多维空间离散点进行建模， 得 到一个超参数分布模型； 步骤4， 分析预测， 包括将插值点数据输入到分布模型中得到相应的超参数， 作为插值 点的特征值， 然后使用得到的特征值对插值点分别进行反距离加权插值， 最终得到插值点 的重金属含量预测值。 2.根据权利要求1所述基于深度强化学习的土壤重金属含量预测方法， 其特征在于： 步 骤2中使用深度强化学习模型对反距离加权算法中的加权幂次数进行 学习和训练。 3.根据权利要求1所述基于深度强化学习的土壤重金属含量预测方法， 其特征在于： 步 骤2中选取采样点的方式为逐点选取。 4.根据权利要求1或2或3所述基于深度强化学习的土壤重金属含量预测方法， 其特征 在于： 步骤2中使用深度强化学习模型对每个采样点的反距离加权算法超参数进行学习和 训练时， 采用竞争深度Q学习网络模型； 模型中智能体的动作空间为[ ‑0.1,0,0.1]， 代表反距离加权法的幂指数参数的变动； 模型中智能体的状态 为反距离加权法的幂指数参数值， 模型中环境反馈的奖励信号的计算 公式为， R＝|c‑c0|‑|c'‑c0| 其中， c为上一状态下进行插值 时得到的预测值， c ’为当前状态下进行插值得到的预测 值， c0为当前插值 点的真实值。 5.根据权利要求1或2或3所述基于深度强化学习的土壤重金属含量预测方法， 其特征 在于： 步骤3中利用步骤2学习到的最优超参数和每个样本点最近邻统计进行建模， 包括加 入最近邻统计值， 使用回归方法对样本点位置数据和 最近邻统计值进行建模； 构建完成的 土壤重金属含量特征分布模型支持根据点的位置数据和对应的最近邻统计值计算出相 应 的反距离插值 算法的理论 最优超参数。 6.根据权利要求1或2或3所述基于深度强化学习的土壤重金属含量预测方法， 其特征 在于： 步骤4中利用步骤3得到的超参数进行差异化反距离加权插值， 最终得到插值点的重 金属含量预测值。 7.一种基于深度强化学习的土壤重金属含量预测系统， 其特征在于： 用于实现如权利 要求1‑6任一项所述的一种基于深度强化学习的土壤重金属含量预测方法； 包括以下模块， 数据准备模块， 用于对原始 的数据集进行预处理， 所述数据集包括土壤重金属含量数 据和相应经纬度数据、 海拔数据， 预处 理得到经纬度数据在笛卡尔坐标系下的坐标 数据；权　利　要　求　书 1/2 页 2 CN 112926256 B 2超参数学习模块， 用于使用深度强化学习模型对土壤重金属数据的特征进行提取， 对 每个采样点的反距离加权算法超参数进行 学习和训练， 得到最优 超参数； 分布模型构建模块， 用于使用回归支持向量机对学习到的最优超参数进行处理， 结合 每个样本点 最近邻统计构建土壤重金属含量特 征分布模型； 分析预测模块， 用于将插值点数据输入到分布模型中得到相应的超参数， 作为插值点 的特征值， 然后使用得到的特征值对插值点分别进行反距离加权插值， 最终得到插值点的 重金属含量预测值。 8.一种电子设备， 其特征在于： 包括处理器和存储器， 存储器用于存储程序指令， 处理 器用于调用存储器中的存储指令执行如权利要求 1‑6任一项所述的一种基于深度强化学习 的土壤重金属含量预测方法。 9.一种可读存储介质， 其特征在于： 所述可读存储介质上存储有计算机程序， 所述计算 机程序执行时， 实现如权利要求1 ‑6任一项所述的一种基于深度强化学习的土壤重金属含 量预测方法。权　利　要　求　书 2/2 页 3 CN 112926256 B 3