(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211078027.3 (22)申请日 2022.09.05 (71)申请人 四川大学华西医院 地址 610044 四川省成 都市武侯区国学巷 37号 申请人 四川省监狱管理局 (72)发明人 张伟　何得淮　蒋静文　何行知　 姚佳　颜泳涛　王垒　路浩　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 贾耀斌 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/46(2022.01) G06V 40/16(2022.01)G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 视频处理方法、 装置、 计算机设备及可读存 储介质 (57)摘要 本发明实施例公开了一种视频处理方法、 装 置、 计算机设备及可读 存储介质， 包括： 获取视频 文件； 根据预设图像归一化规则对 所述视频文件 进行预处理， 以得到目标图像序列； 分别对目标 图像序列进行人脸检测和人体检测， 以得到目标 对象的人脸关键点和人体关键点； 基于人脸关键 点识别对应目标对象 的情绪状态和困倦状态； 基 于人体关键点识别对应目标对象的肢体姿态和 肢体运动状态； 根据情绪状态、 困倦状态、 肢体姿 态以及肢体运动状态判断目标对象的行为集合 是否包括预设行为， 并在目标对象的行为集合包 括预设行为时， 向预设终端发送提示信息。 本发 明通过智能识别视频中目标对象的行为事件、 情 绪状态， 能够更加稳定、 准确的预测隐患行为。 权利要求书2页 说明书10页 附图4页 CN 115482485 A 2022.12.16 CN 115482485 A 1.一种视频处 理方法， 其特 征在于， 包括： 获取视频文件； 根据预设图像归一 化规则对所述视频文件进行 预处理， 以得到目标图像序列； 分别对所述目标图像序列进行人脸检测和人体检测， 以得到目标对象的人脸关键点和 人体关键点； 基于所述人脸关键点识别对应目标对象的情绪状态和困倦状态； 基于所述人体关键点识别对应目标对象的肢体姿态和肢体运动状态； 根据所述情绪状态、 所述困倦状态、 所述肢体姿态以及所述肢体运动状态判断所述目 标对象的行为集合是否包括预设行为， 并在所述目标对象的行为集合包括所述预设行为 时， 向预设终端发送提 示信息。 2.根据权利要求1所述的视频处理方法， 其特征在于， 所述分别对所述目标图像序列进 行人脸检测 和人体检测， 以得到目标对象的人脸关键点和人体关键点， 包括： 通过哈尔特征识别模型检测并截取所述目标图像序列中每一帧图像的人脸区域； 基于 人脸关键点检测网络识别所述人脸区域中的人脸关键点， 以得到所述目标对象的人脸关键 点； 通过Faster  RCNN模型检测并截取所述目标 图像序列中每一帧图像的人体区域； 通过 高分辨率网络识别所述人体区域的人体关键点， 以得到所述目标对象的人体关键点。 3.根据权利要求2所述的视频处 理方法， 其特 征在于， 所述方法还 包括： 基于预设细粒度头 部姿态估计网络识别所述人脸区域， 以得到目标对象的头 部姿态； 所述根据所述情绪状态、 所述困倦状态、 所述肢体姿态以及所述肢体运动状态判断所 述目标对象的行为 集合是否包括预设行为， 还 包括： 根据所述情绪状态、 所述困倦状态、 所述头部姿态、 所述肢体姿态以及所述肢体运动状 态判断所述目标对象的行为 集合是否包括预设行为。 4.根据权利要求1所述的视频处理方法， 其特征在于， 所述基于所述人脸关键点识别对 应目标对象的情绪状态， 包括： 将第一数量的人脸关键点划分为第二数量的人脸关键区域， 其中， 所述第一数量大于 所述第二数量； 基于预设环状神经网络模型识别所述人脸关键区域， 并得到对应所述目标对象的情绪 状态。 5.根据权利要求1所述的视频处理方法， 其特征在于， 所述基于所述人脸关键点识别对 应目标对象的困倦状态， 包括： 基于眼睛区域的人脸关键点以及预设闭 眼率计算公式计算对应目标对象的闭 眼率； 若所述闭 眼率大于第一阈值， 识别所述目标对象为 沉睡状态； 若所述闭眼率小于所述第 一阈值， 大于第二阈值， 识别所述目标对象为具有睡意状态， 其中， 所述第一阈值大于所述第二阈值； 若所述闭 眼率小于所述第二阈值， 识别所述目标对象为清醒状态。 6.根据权利要求1所述的视频处理方法， 其特征在于， 所述根据 预设图像归一化规则对 所述视频文件进行 预处理， 以得到目标图像序列， 包括： 按照时间顺序读取 所述视频文件， 以得到多帧数的初始图像序列；权　利　要　求　书 1/2 页 2 CN 115482485 A 2对每一帧对象进行RGB图像归一 化处理， 以得到所述目标图像序列。 7.根据权利要求6所述的视频处理方法， 其特征在于， 所述基于所述人体关键点识别对 应目标对象的肢体姿态和肢体运动状态， 包括： 根据所述人体关键点的位置坐标， 识别对应目标对象的肢体姿态； 根据连续多帧图像中人体关键点的位置坐标的变化情况， 计算对应目标对象各肢体部 位的运动幅度和运动速度， 以得到所述目标对象的肢体运动状态。 8.一种视频处 理装置， 其特 征在于， 包括： 获取模块， 用于获取视频文件； 预处理模块， 用于根据预设图像归一化规则对所述视频文件进行预处理， 以得到目标 图像序列； 关键点检测模块， 用于分别对所述目标图像序列进行人脸检测和人体检测， 以得到目 标对象的人脸关键点和人体关键点； 人脸识别模块， 用于基于所述人脸关键点识别对应目标对象的情绪状态和困倦状态； 人体识别模块， 用于基于所述人体关键点识别对应目标对象的肢体姿态和肢体运动状 态； 行为识别模块， 用于根据 所述情绪状态、 所述困倦状态、 所述肢体姿态以及所述肢体运 动状态判断所述目标对 象是否包括预设行为， 并在所述 目标对象包括预设行为时， 向预设 终端发送提 示信息。 9.一种计算机设备， 其特征在于， 所述计算机设备包括处理器和存储器， 所述存储器存 储有计算机程序， 所述计算机程序在所述处理器上运行时执行权利要求 1至7任一项 所述的 视频处理方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中存储有计算机 程序， 所述计算机程序在处理器上运行时执行权利要求1至7中任一项所述的视频处理方 法。权　利　要　求　书 2/2 页 3 CN 115482485 A 3