(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202110352342.X (22)申请日 2021.03.31 (65)同一申请的已公布的文献号 申请公布号 CN 113065284 A (43)申请公布日 2021.07.02 (73)专利权人 天津国科医工科技发展 有限公司 地址 300000 天津市东 丽区开发区五经路 16号4号楼 (72)发明人 李亮　王晶　李振　冯新用　 刘广才　贾明正　凌星　程文播　 (74)专利代理 机构 天津企兴智财知识产权代理 有限公司 12 226 专利代理师 李彦彦 (51)Int.Cl. G06F 30/27(2020.01)G06N 20/20(2019.01) (56)对比文件 CN 106850289 A,2017.0 6.13 审查员 孙瑞生 (54)发明名称 一种基于Q学习的三重四极质谱仪参数优化 策略计算方法 (57)摘要 本发明提供了一种基于Q学习的三重四极质 谱仪参数优化策略计算方法， 质谱仪的参数优化 方法， 即为参数不断调整的过程， 将质谱仪的参 数优化过程抽象成马尔可夫决策过程， 从当前参 数组合经过操作后， 转移到下一个参数组合； 参 数组合仅仅取决于上一参数 组合， 同更早之前的 参数组合无关。 本发明有益效果： 应用Q学习算法 计算三重四极质谱仪参数调节的最佳策略， 这是 一种基于强化学习的参数优化方法， 在三重四极 质谱仪调谐的过程中， 需要优化的参数较多， 可 能的组合多达上千万， 如果每一个参数都优化， 则将陷入难以接受的等待中， 应用Q学习算法则 可以使用较短的时间达到全局最优组合的附近， 以使得三重四极质谱仪 工作在较好的状态。 权利要求书1页 说明书5页 附图2页 CN 113065284 B 2022.11.01 CN 113065284 B 1.一种基于Q学习的三重四极质谱仪参数优化策略计算方法， 其特 征在于包括： 质谱仪的参数优化方法， 即为参数不断调整的过程， 将质谱仪的参数优化过程抽象成 马尔可夫决策过程， 从当前参数组合经过操作后， 转移到下一个参数组合； 参数组合仅仅取 决于上一 参数组合， 同更早之前的参数组合无关； 基于Q学习算法计算得到 的质谱仪参数优化方法， 所述Q学习即为Q ‑learning， 在一段 时间内均可适用于质谱仪参数的优化， 而 无需重新计算， 直接使用策略即可进 行参数优化， 用于提升 了仪器的调谐效率， 节省了实验人员的精力和时间； 定义(p1,…,pM)T为质谱仪待优化的M个参数组合， (p1n,…,pMn)T为在时刻n时的参数组 合， 定义g(i,a,j)为从状态i经过操作a后转移到状态j的单次代价函数， 其中i为一种参数 组合， j为另一种参数组合； 定义Q*(i,a)为状态 ‑操作对(i,a)的Q因子， 其中b∈A， 根据Bel lman方程可以得到下式： 其中pij(a)为状态i经过操作a转移到状态j的转移概率， γ是折扣因子， 为小于1的正 数， 近似式(1)得到式(2)： 对式(2)应用逼近算法， 得到式(3)， 其中η为学习率 参数： 简化式(3)算法， 忽略转移概 率， 得出下面的迭代算法式(4)～式(6)： Qn+1(i,a)＝(1 ‑ηn(i,a))Qn(i,a)+ ηn(i,a)[g(i,a,j)+γJn(j)]        (4) Q(i,a)＝ Qn+1(i,a)                         (6) 迭代算法的具体实现步骤如下： S1、 初始化 算法中所有状态 ‑操作对(i,a)的Q因子Q0(i,a)； S2、 执行式(4)和式(5)， 计算所有的Q因子Qn(i,a)； S3、 更新所有状态 ‑操作对(i,a)的Q因子， 式(6)， 即更新 Q值表； S4、 是否满足算法终止条件， 满足则算法终止， 否则返回步骤2。 2.根据权利要求1所述的一种基于Q学习的三重四极质谱仪参数优化策略计算方法， 其 特征在于： 算法 的终止条件为： |Qn+1(i,a)‑Qn(i,a)|≤ρ， 其中ρ 为预先设定的一个正数， 在 确定了状态‑操作对(i,a)的Q因子后， 即可确定优化 参数的最佳 策略： 操作集合A中有2M+1种操作， 参数组合(p1,…,pM)T的操作分别有： (0, …,0)T、 (±1,…, 0)T、……、 (0,…,±1)T。权　利　要　求　书 1/1 页 2 CN 113065284 B 2一种基于 Q学习的三重四极质谱 仪参数优化策略计算方 法 技术领域 [0001]本发明属于质谱仪技术领域， 尤其是涉及一种基于Q学习的三重四极质谱仪参数 优化策略计算方法。 背景技术 [0002]三重四极杆质谱仪是当下药物公司研发部门、 大学实验室、 研究所和医院对物质 定性分析 的重要工具。 顾名思义， 四极杆即为四根平行或呈一定角度排列的金属 棒构成的 模块， 三重四极杆质谱仪由若干这样的模块串联而成。 根据马修方程， 在四极杆上加相应直 流电压和射频电压， 可以筛选出特定的质荷比的离子， 而其他质荷比的离子将偏离轨道， 撞 在四极杆上。 被选中的特定质荷比的离子在四极杆中做螺旋前进运动， 直到通过四个串联 的四极杆， 打在后端的检测器上， 形成信号， 常用的检测器有电子倍增器等。 [0003]化合物被离子化后， 进入腔体后， 首先进入Q0， Q0的主要作用在于引导离子进入 Q1， Q1则可以筛选特定质荷比的离子， 被筛选的离子进入Q2中， 在Q2 中， 这些离子会被打碎 成若干子离子， 再进入Q3， Q3和Q1的作用相同， 用于筛选特定质荷比的离子通过， 而通过Q3 的离子进入电子倍增器， 得到信号， 如此就可以对化 合物进行定性分析。 [0004]为了使离子能够最大数量的通过三重四极杆， 操作人员需要优化多个参数， 才能 保证离子最大化的飞过四极杆， 进入检测器。 而 各类参数的组合数目庞大， 找到最优的参数 组合往往取决于操作人员的经验和对仪器的理解， 而且找到相对最优的参数组合耗时也比 较长。 寻找质谱仪最优参数组合的过程是质谱仪调谐的一部分。 在实际应用中， 应用人员或 调试人员需要花费大量的时间和精力确定参数的最佳组合。 一些仪器生产商也提出了一些 自动调谐的方法， 大多采用固定其余参数， 遍历单一参数的方法， 这样的好处是能够 缩短调 谐时间， 然而显著的缺点是： 难以收敛到质谱仪的全局最优参数组合， 质谱仪可能无法在相 对较好的状态工作。 发明内容 [0005]有鉴于此， 本发明旨在提出一种基于Q学习的三重四极质谱仪参数优化策略计算 方法， 该方法使用了Q学习的基本思想， 这是一种基本强化学习方法。 [0006]为达到上述目的， 本发明的技 术方案是这样实现的： [0007]一种基于Q学习的三重四极质谱仪参数优化策略计算方法， 包括： [0008]质谱仪的参数优化方法， 即为参数不断调整的过程， 将质谱仪 的参数优化过程抽 象成马尔可夫决策过程， 从当前参数 组合经过操作后， 转移到下一个参数组合； 参数组合仅 仅取决于上一 参数组合， 同更早之前的参数组合无关； [0009]基于Q学习算法计算得到的质谱仪参数优化方法， 所述Q学习即为Q ‑learning， 在 一段时间内均可适用于质谱仪参数 的优化， 而无需重新计算， 直接使用策略即可进行参数 优化， 用于提升 了仪器的调谐效率， 节省了实验人员的精力和时间。 [0010]进一步的， 定义(p1,…,pM)T为质谱仪待优化的M个参数组合， (p1n,…,pMn)T为在时说　明　书 1/5 页 3 CN 113065284 B 3