(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111639231.3 (22)申请日 2021.12.2 9 (71)申请人 浙江大华 技术股份有限公司 地址 310051 浙江省杭州市滨江区滨安路 1187号 (72)发明人 高康康　朱树磊　王宁波　殷俊　 (74)专利代理 机构 深圳市威世博知识产权代理 事务所(普通 合伙) 44280 专利代理师 何倚雯 (51)Int.Cl. G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 40/18(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) (54)发明名称 一种行为分析模 型训练方法、 行为分析方法 及其设备 (57)摘要 本申请公开了一种行为分析模 型训练方法、 行为分析方法及其设备， 该模型训练方法包括： 构建连续帧人眼训练数据集； 基于连续帧人眼训 练数据集生成一个人眼簇图像； 将人眼簇图像输 入待训练分析模 型， 以获取连续帧人眼训练数据 集的眼部行为分类， 其中， 眼部行为分类包括眼 部行为类别及其第一预测概率； 基于连续帧人眼 训练数据集的眼部行为分类和真实眼部行为标 签获取待训练分析模型的第一预测损失， 利用第 一预测损失对待训练分析模型进行训练， 以得到 最终的行为 分析模型。 本申请的行为分析模型训 练方法通过将连续帧人眼训练数据集的若干人 眼图像帧编码到同一人眼簇图像， 能够有效减少 模型训练的参数冗余、 复杂计算以及存储消耗， 提升模型训练的效率。 权利要求书3页 说明书10页 附图6页 CN 114462491 A 2022.05.10 CN 114462491 A 1.一种行为分析模型训练方法， 其特 征在于， 所述行为分析模型训练方法包括： 构建连续帧人眼训练数据集， 其中， 所述连续帧人眼训练数据集包括若干连续的人眼 图像帧； 基于所述连续帧人眼训练数据集 生成一个人眼簇图像； 将所述人眼簇图像输入待训练分析模型， 以获取所述连续帧人眼训练数据集的眼部行 为分类， 其中， 所述眼部行为分类包括眼部行为类别及其第一预测概 率； 基于所述连续帧人眼训练数据集的眼部行为分类和真实眼部行为标签获取所述待训 练分析模型 的第一预测损失， 利用所述第一预测损失对所述待训练分析模型进行训练， 以 得到最终的行为分析模型。 2.根据权利要求1所述的行为分析模型训练方法， 其特 征在于， 所述构建连续帧人眼训练数据集， 包括： 采用眼睛检测网络对所述监控视频流中的人眼图像进行检测， 确定包括眼部区域的人 眼图像作为 起始帧； 基于起始帧选择 连续多帧的人眼 图像组成连续帧人眼训练数据集。 3.根据权利要求2所述的行为分析模型训练方法， 其特 征在于， 所述基于起始帧选择 连续多帧的人眼 图像组成连续帧人眼训练数据集， 包括： 基于所述起始帧按照预设帧步长选择连续预设帧数的人眼图像组成连续帧人眼训练 数据集。 4.根据权利要求2所述的行为分析模型训练方法， 其特 征在于， 所述基于起始帧选择 连续多帧的人眼 图像组成连续帧人眼训练数据集， 包括： 基于起始帧选择 连续多帧的人眼 图像； 采用所述眼睛检测网络 定位所述人眼 图像中的眼部区域； 按照所述眼部区域对所述人眼 图像进行裁 剪， 得到人眼区域图像； 基于连续多帧的人眼区域图像组成所述连续帧人眼训练数据集。 5.根据权利要求 4所述的行为分析模型训练方法， 其特 征在于， 所述按照所述眼部区域对所述人眼 图像进行裁 剪， 得到人眼区域图像， 包括： 采用人脸对齐算法将连续多帧的人眼图像进行矫正， 以使得矫正后的人眼图像中眼部 区域的方向一 致； 按照所述眼部区域对矫 正后的人眼 图像进行裁 剪， 得到所述人眼区域图像。 6.根据权利要求1或5所述的行为分析模型训练方法， 其特 征在于， 所述基于所述连续帧人眼训练数据集 生成一个人眼簇图像， 包括： 将所述连续帧人眼训练数据集中若干人眼图像帧按照预设图像编码规则编码到同一 张图像中， 以生成所述人眼簇图像。 7.根据权利要求6所述的行为分析模型训练方法， 其特 征在于， 所述预设图像编码规则包括所述连续帧人眼训练数据集中若干人眼图像帧的采集时 间顺序。 8.根据权利要求1所述的行为分析模型训练方法， 其特 征在于， 所述待训练分析模型包括第一待训练分析模型和第二待训练分析模型； 所述分析模型训练方法， 还 包括：权　利　要　求　书 1/3 页 2 CN 114462491 A 2将所述人眼簇 图像输入第一待训练分析模型， 以获取预测人眼状态逻辑线索特征图， 其中， 所述预测人眼状态逻辑线索特 征图包括每一人眼 图像帧的第一预测概 率； 基于所述预测人眼状态逻辑线索特征图和真实人眼状态逻辑线索特征图获取所述第 一待训练分析模型的第二预测损失， 利用所述第二预测损失对所述第一待训练分析模型进 行训练； 将所述预测人眼状态逻辑线索特征图输入第 二待训练分析模型， 以获取所述连续帧人 眼训练数据集的眼部行为分类， 其中， 所述眼部行为分类包括眼部行为类别及其第三预测 概率； 基于所述连续帧人眼训练数据集的眼部行为分类和真实眼部行为标签获取所述第二 待训练分析模型的第三预测损失， 利用所述第三预测损失对所述第二待训练分析模型进 行 训练。 9.根据权利要求8所述的行为分析模型训练方法， 其特 征在于， 所述第一待训练分析模型包括浅层卷积核和深层卷积核； 所述将所述人眼簇图像输入第 一待训练分析模型， 以获取预测人眼状态逻辑线索特征 图， 包括： 将所述人眼簇图像输入所述第一待训练分析模型； 通过所述浅层卷积核提取所述人眼簇图像的局部特征， 所述局部特征表征相邻人眼图 像帧的特 征关系； 通过所述深层卷积核提取所述人眼簇图像的全局特征， 所述全局特征表征人眼图像帧 在人眼簇图像的特 征关系； 基于所述人眼簇图像的局部特 征和全局特 征生成所述预测人眼状态逻辑线索特 征图。 10.一种行为分析 方法， 其特 征在于， 所述行为分析 方法包括： 获取监控视频流； 将所述监控视频流输入所述行为分析模型， 获取输出的行为分析类别， 以及每一类别 的预测概 率； 选取预测概率最高的行为分析类别作为所述 监控视频流的行为分析 结果； 其中， 所述行为分析模型由权利要求1～9中任一项所述的行为分析模型训练方法训练 得到。 11.根据权利要求10所述的行为分析 方法， 其特 征在于， 所述选取 预测概率最高的行为分析类别作为所述 监控视频流的行为分析 结果， 包括： 判断所述预测概 率最高的行为分析类别的预测概 率是否大于等于预设概 率阈值； 若是， 输出 该行为分析类别作为所述 监控视频流的行为分析 结果； 若否， 输出没有发生该 行为分析类别事 件的行为分析 结果。 12.一种终端设备， 其特征在于， 所述终端设备包括处理器、 与所述处理器连接的存储 器， 其中， 所述存储器存储有程序指令； 所述处理器用于执行所述存储器存储的程序指令以实现权利要求1～9任一项所述的 行为分析模型训练方法和/或权利要求10～1 1任一项所述的行为分析 方法。 13.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有程序指权　利　要　求　书 2/3 页 3 CN 114462491 A 3