(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211143751.X (22)申请日 2022.09.20 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 罗阳　钱正宇　胡鸣人　施恩　 袁正雄　褚振方　黄悦　王国彬　 李金麒　钱洋　王宽　 (74)专利代理 机构 北京市通商律师事务所 11951 专利代理师 姜莹丽　许念如 (51)Int.Cl. G06F 9/50(2006.01) G06F 11/30(2006.01) (54)发明名称 AI服务请求的处理方法、 装置、 电子设备及 存储介质 (57)摘要 本公开涉及人工智能技术领域， 尤其涉及容 器技术领域， 具体涉及AI服务请求的处理方法、 装置、 电子设备及存储介质。 具体实现方案为： 获 取AI服务请求； 获取AI服务请求相关的AI服务进 程的状态； AI服务进程的状态包括： 工作状态或 回收状态； 响应于AI服务进程的状态为工作状 态， 通过AI服务进程对AI服务请求进行处理； 响 应于AI服务进程的状态为回 收状态， 将AI服务进 程的状态由回收状态调整至工作状态后， 通过AI 服务进程对AI服务请求进行处理。 本公开可以对 调用不频繁的AI服务进 程进行回 收， AI服务进 程 可以在需要处理相应的AI服务请求时被快速唤 醒， 避免AI服务进程占据大量资源， 实现了平台 资源利用率的提升和服 务启动时可用性的提高。 权利要求书2页 说明书7页 附图3页 CN 115480920 A 2022.12.16 CN 115480920 A 1.一种AI 服务请求的处 理方法， 包括： 获取AI服务请求； 获取所述AI服务请求相 关的AI服务进程的状态； 所述AI服务进程的状态包括： 工作状 态或回收状态； 响应于所述AI服务进程的状态为工作状态， 通过所述AI服务进程对所述AI服务请求进 行处理； 响应于所述AI服务进程的状态为回收状态， 将所述AI服务进程的状态由回收状态调整 至工作状态后， 通过 所述AI服务进程对所述AI 服务请求进行处 理。 2.根据权利要求1所述的方法， 所述方法还 包括： 当所述AI 服务进程的状态为工作状态时， 监控所述AI 服务进程是否 达到回收条件； 响应于所述AI服务进程达到所述回收条件， 将所述AI服务进程的状态由工作状态调整 至回收状态。 3.根据权利要求1所述的方法， 所述方法还 包括： 当所述AI服务进程的状态为工作状态时， 向所述AI服务进程周期性地发送心跳消息， 检测所述AI 服务进程是否异常； 响应于所述AI 服务进程异常， 发送告警信息， 并重新启动所述AI 服务进程。 4.根据权利要求1所述的方法， 其中， 所述将所述AI服务进程的状态由回收状态调整至 工作状态包括： 从磁盘中获取 所述AI服务进程的执 行状态文件； 基于所述执 行状态文件 控制所述AI 服务进程在上一次被冻结的点恢复执 行。 5.根据权利要求2所述的方法， 其中， 所述监控所述AI服务进程是否达到回收条件包 括： 获取所述AI服务进程正在处理的AI服务请求数量， 以及所述AI服务进程正在处理的所 述AI服务请求数量 为零时， 所述AI 服务进程最后一次响应所述AI 服务请求的时间； 响应于所述AI服务请求数量为零， 并且所述AI服务进程最后一次响应所述AI服务请求 的时间达 到预设阈值， 确定所述AI 服务进程达 到所述回收条件。 6.根据权利要求2所述的方法， 其中， 所述将所述AI服务进程的状态由工作状态调整至 回收状态包括： 对所述AI 服务进程进行冻结； 将所述AI 服务进程的执 行状态文件 存储于磁盘中。 7.一种AI 服务请求的处 理装置， 包括： AI服务代理模块， 被 配置为获取AI 服务请求； 监控模块， 被配置为获取所述AI服务请求相 关的AI服务进程的状态； 所述AI服务进程 的状态包括： 工作状态或回收状态； AI服务模块， 被配置为响应于所述AI服务进程的状态为工作状态， 通过所述AI服务进 程对所述AI 服务请求进行处 理； 所述AI服务代理模块， 被配置为响应于所述AI服务进程的状态为回收状态， 将所述AI 服务进程的状态由回收状态调整至工作状态后， 所述A I服务模块通过所述A I服务进程对所 述AI服务请求进行处 理。权　利　要　求　书 1/2 页 2 CN 115480920 A 28.根据权利要求7 所述的装置， 其中， 所述 监控模块还包括： 当所述AI 服务进程的状态为工作状态时， 监控所述AI 服务进程是否 达到回收条件； 响应于所述AI服务进程达到所述回收条件， 将所述AI服务进程的状态由工作状态调整 至回收状态。 9.根据权利要求7 所述的装置， 所述装置还 包括： AI服务探活模块， 被配置为当所述AI服务进程的状态为工作状态时， 向所述AI服务进 程周期性 地发送心跳消息， 检测所述AI 服务进程是否异常； 响应于所述AI服务进程异常， 向所述AI服务模块发送告警信息， 并重新启动所述AI服 务进程。 10.根据权利要求7所述的装置， 其中， 所述AI服务代理模块将所述AI服务进程的状态 由回收状态调整至 工作状态包括： 从磁盘中获取 所述AI服务进程的执 行状态文件； 基于所述执 行状态文件 控制所述AI 服务进程在上一次被冻结的点恢复执 行。 11.根据权利要求8所述的装置， 其中， 所述监控模块监控所述AI服务进程是否达到回 收条件包括： 获取所述AI服务进程正在处理的AI服务请求数量， 以及所述AI服务进程正在处理的所 述AI服务请求数量 为零时， 所述AI 服务进程最后一次响应所述AI 服务请求的时间； 响应于所述AI服务请求数量为零， 并且所述AI服务进程最后一次响应所述AI服务请求 的时间达 到预设阈值， 确定所述AI 服务进程达 到所述回收条件。 12.根据权利要求8所述的装置， 其中， 所述监控模块将所述AI服务进程的状态由工作 状态调整至回收状态： 对所述AI 服务进程进行冻结； 将所述AI 服务进程的执 行状态文件 存储于磁盘中。 13.一种电子设备， 包括： 至少一个处 理器； 以及 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处 理器执行， 以使所述至少一个处 理器能够执 行权利要求1 ‑6中任一项所述的方法。 14.一种存储有计算机指令的非瞬时计算机可读存储介质， 其中， 所述计算机指令用于 使所述计算机执 行根据权利要求1 ‑6中任一项所述的方法。 15.一种计算机程序产品， 包括计算机程序， 所述计算机程序在被处理器执行时实现根 据权利要求1 ‑6中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115480920 A 3