(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210660238.1 (22)申请日 2022.06.13 (71)申请人 中山大学 地址 510275 广东省广州市海珠区新港西 路135号 (72)发明人 刘强　谢谦　郑国鸿　 (74)专利代理 机构 佛山汇能知识产权代理事务 所(普通合伙) 44410 专利代理师 张俊平 (51)Int.Cl. G06V 20/59(2022.01) G06V 40/16(2022.01) G06V 40/18(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01)G06V 10/764(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于轻量化模型的戴口罩驾驶员疲劳驾驶 检测方法 (57)摘要 本发明涉及疲劳驾驶检测技术领域， 特别是 一种基于轻量化模型的戴口罩驾驶员疲劳驾驶 检测方法； 包括以下步骤： S1： 采集驾驶员人脸图 像， 进行预处理； S2： 将人脸图像数据传入轻量级 GAN， 增强图像质量； S3： 将驾驶员人脸图像数据 传入轻量化目标检测网络， 通过改进的Gho stNet 主干特征网络进行特征提取， 结合SPP结构与 PANet结构 进行特征融合， 最后使用Yolo  Head进 行分类与回归， 得到驾驶员眼部、 瞳孔、 头部的状 态与位置坐标； S4： 综合驾驶员闭眼百分比、 视线 移动速度及点头频率判断驾驶员 是否处于疲劳 驾驶状态； 本发明采用通道混洗、 分割与多主干 网络集成的方法同传统增加网络层数、 多尺度融 合的方法相比， 提高了 检测的速度与精度。 权利要求书2页 说明书5页 附图4页 CN 115050012 A 2022.09.13 CN 115050012 A 1.一种基于轻量化模型的戴口罩驾驶员疲劳驾驶检测方法， 其特征在于： 包括以下步 骤： S1： 采集驾驶状态的驾驶员人脸图像， 进行 预处理； S2： 将驾驶员人脸图像数据传入轻量级GAN， 增强图像质量； S3： 将增强后的驾驶员人脸图像数据传入轻量化目标检测网络， 通过改进的GhostNet 主干特征网络进行特征提取， 结合SPP结构与PANet结构进行特征融合， 最后使用Yolo  Head 进行分类与回归， 得到驾驶员眼部、 瞳孔、 头 部的状态与位置坐标； S4： 综合驾驶员闭眼百分比、 视线移动速度及点头频率判断驾驶员是否处于疲劳驾驶 状态。 2.如权利要求1所述的基于轻量化模型的戴口罩驾驶员疲劳驾驶检测方法， 其特征在 于： 步骤S2中， 轻量级GAN包括基于ShuffleNetV2构建的生成器与基于PatchGAN构建的判别 器， 对输入的视频流进行低光改进与去模糊操作， 生成光照良好且清晰的图像。 3.如权利要求1所述的基于轻量化模型的戴口罩驾驶员疲劳驾驶检测方法， 其特征在 于： 驾驶员人脸图像经 过步骤S1进行 预处理， 统一调整为2 24×224×3； 步骤S3中， 通过改进的GhostNet主干特 征网络进行 特征提取的过程如下： 将输入的224 ×224×3的图像通过16通道的普通1 ×1卷积块得到7 ×7×160的特征层， 再利用1×1的卷积块调整通道数得到7 ×7×960的特征层， 最后进行全局平均池化与 1×1 卷积， 获得1 ×1×1280的特征层进行全连接分类， 通过把两个相同的GhostNet主干组合连 接， 第一个主干每一 阶段的输出作为输入的一部分， 通过邻近高级组合的方式流向下一个 主干网络的并行阶段， 使用深度可分离卷积生 成冗余特征图、 通道混洗与分割降低计算量， 通过此主干特征提取网络获得三个有效特征层， 尺寸分别为76 ×76×256、 38×38×512和 19×19×1024。 4.如权利要求1所述的基于轻量化模型的戴口罩驾驶员疲劳驾驶检测方法， 其特征在 于： 步骤S 3中， 对双眼分别进 行单独的检测， 根据单位时间内驾驶员眼睑盖过瞳孔的面积超 过80％所占的时间比例计算PERCLOS值。 5.如权利要求1所述的基于轻量化模型的戴口罩驾驶员疲劳驾驶检测方法， 其特征在 于： 步骤S 3中， 通过计算瞳孔中心 坐标与眼部中心 坐标距离变化计算视线移动速度， 统计单 位时间内点头次数计算 点头频率。 6.如权利要求3所述的基于轻量化模型的戴口罩驾驶员疲劳驾驶检测方法， 其特征在 于： 对三个所述有效特征层 使用SPP结构增大感受野， 分离出显著特征， 使用PANet进 行反复 的特征提取， 得到的三个特 征层尺寸分别为76 ×76×33、 38×38×33和19×19×33； 最后传入Yolo  Head进行预测与解码， 三个特征层变换为76 ×76×11、 38×38×11和19 ×19×11， 最后一个维度中的11分别代表x_offset、 y_offset、 h、 w、 置信度和分类结果， 将 每个网格点加上它对应的x_offset和y_offset， 得到预测框中心， 再利用先验框和h、 w结合 计算出预测框的长和宽， 得到驾驶员眼部、 瞳孔与头 部的状态与位置坐标。 7.如权利要求1所述的基于轻量化模型的戴口罩驾驶员疲劳驾驶检测方法， 其特征在 于： 在步骤S2和步骤S3中， 轻量化目标检测网络所采用的数据集来源于GO  PRO数据集、 ZJU 数据集、 YawD D数据集和实际拍摄自制数据集。权　利　要　求　书 1/2 页 2 CN 115050012 A 28.如权利要求1所述的基于轻量化模型的戴口罩驾驶员疲劳驾驶检测方法， 其特征在 于： 还包括以下步骤： S5： 若检测到驾驶员处于疲劳状态， 将发出警示信号。权　利　要　求　书 2/2 页 3 CN 115050012 A 3