(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111670712.0 (22)申请日 2021.12.31 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市下沙高教园区2 号大街 (72)发明人 刘鹏　蒋龙飞　 (74)专利代理 机构 杭州君度专利代理事务所 (特殊普通 合伙) 33240 代理人 朱月芬 (51)Int.Cl. G06V 20/59(2022.01) G06V 10/774(2022.01) G06K 9/62(2022.01) G06N 20/00(2019.01) (54)发明名称 一种基于联邦学习的驾驶员的分心行为识 别方法 (57)摘要 本发明公开了一种基于联邦学习的驾驶员 的分心行为识别方法。 本发明针对的应用场景主 要包括目标检测模型、 服务器和若干用户， 同时 各个用户都有相互独立的私有的数据集。 本发明 创新的将联邦学习算法与 目标检测算法进行了 结合。 在服务器不能获得用户数据集的约束下， 实现了用于检测驾驶员分心行为的YOLOv3模型 的训练。 同时创新的提出了在联邦学习过程中使 用学习率预热的方法， 用于提高模 型收敛效率和 性能。 本发明的方法不需要过多的先验知识， 不 需要得到每个用户原始数据， 符合隐私保护的需 求， 并且本发 明在类似的应用场景有着较好的复 用性， 发明的实 践价值较强。 权利要求书2页 说明书4页 附图1页 CN 114332832 A 2022.04.12 CN 114332832 A 1.一种基于联邦学习的驾驶员的分心行为识别方法， 其特 征在于包括以下步骤： 步骤1、 制作驾驶员行为数据集； 用户收集驾驶员行为图像， 并对原始图像进行标注， 获 得预处理后的驾驶员行为数据集； 将数据集按一定比例分为训练集、 验证集和 测试集； 步骤2、 搭建联邦学习模型及 设置联邦学习参数； 服务器 中的全局目标检测模型和用户 的本地目标检测模型拥有同样的框架； 其中， 全局目标检测模型 的参数会通过加载官方预 训练权重的方式进行模型参数初始化； 同时设置联邦学习方法的最大轮次、 终止训练阈值 等； 步骤3、 设置学习率； 使用学习率预热的方法， 服务器在每个联邦学习轮次中设置学习 率； 步骤4、 本地目标检测模型的训练； 各个用户从服务器处得到全局目标检测模型的参数 后加载到各自的本地目标检测模型， 使用各自的训练集和验证集对本地目标检测模型进 行 训练并计算损失， 使用梯度下降法计算梯度， 达到训练次数epoch之后， 将所得的梯度上传 给服务器； 步骤5、 服务器全局目标检测模型更新； 在收到各个用户上传的梯度后， 服务器通过联 邦学习算法对各个梯度进行加权求和， 并更新全局目标检测模型的参数； 步骤6、 全局目标检测模型评估性能测试； 全局目标检测模型更新之后， 将更新获得的 参数传递给用户的本地目标检测模型， 用户使用测试集对全局目标检测模 型的性能进 行测 试， 使用全类平均正确率mAP来衡量； 若是训练轮次达到最大轮次或者mAP值达到终止训练 阈值M， 则终止联邦学习训练， 否则重复步骤4和步骤5； 步骤7、 采用最终得到的本地目标检测模型进行目标识别， 通过本地目标检测模型对驾 驶员进行分心行为识别。 2.根据权利要求1所述的一种基于联邦学习的驾驶员的分心行为识别方法， 其特征在 于步骤1具体实现如下： 存在K个用户和原始数据 S＝{S1， S2...SK}， 其中Sk表示第k个用户拥有的原始数据， 且每 个用户拥有的原 始数据相互独立； 对于每个用户的原始数据， 使用labelImg软件对原始数据中每张图像的各个目标进行 信息的标注后得到样本， 并使用这些样本自动生成预处理后的数据集D＝{D1， D2...DK}； 其 中每个样本由被标注图像和该图像中目标的位置信息， 包括目标预测框的水平中心 坐标x、 垂直中心坐标y、 宽w、 高h； 同时预 处理后的每个数据集按照一定的比例分为了训练集、 验证 集和测试集。 3.根据权利要求1所述的一种基于联邦学习的驾驶员的分心行为识别方法， 其特征在 于步骤6具体实现如下： 服务器得到所有K个用户上传的梯度后， 对全局目标检测模型的参数进行更新， 具体公 式如下： 其中， θt+1为更新后的全局目标检测模型参数， θt为当前的全局目标检测模型参数， nk为 第k个用户的训练集样本数量， n为K个用户训练集样本数量的总和， wk为第k个用户上传的权　利　要　求　书 1/2 页 2 CN 114332832 A 2梯度。权　利　要　求　书 2/2 页 3 CN 114332832 A 3