(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210537179.9 (22)申请日 2022.05.17 (71)申请人 山东建筑大学 地址 250101 山东省济南市历城区临港开 发区凤鸣路10 00号 (72)发明人 赵磊　赵羽飞　孙浩然　罗映　 徐楠　刘建华　闫法义　贝太学　 (74)专利代理 机构 济南泉城专利商标事务所 37218 专利代理师 支文彬 (51)Int.Cl. G06V 20/59(2022.01) G06V 40/16(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) A61B 5/18(2006.01) H04B 17/364(2015.01) (54)发明名称 基于视觉-WiFi信号联合检测的驾驶接管险 态感知方法 (57)摘要 一种基于视觉 ‑WiFi信号联合检测的驾驶接 管险态感知方法， 通过车载WiFi信号提取CSI， 通 过多个摄像头提取驾驶人复合视角行为特征， 将 这两个特征融合构建驾驶人的接管险态感知系 统， 通过融合图像和WiFi信号特征来实现两者的 优势互补， 提高驾驶人接管危险状态的判别精 度。 权利要求书2页 说明书5页 附图1页 CN 114782935 A 2022.07.22 CN 114782935 A 1.一种基于视觉 ‑WiFi信号联合检测的驾驶接管险态感知方法， 其特征在于， 包括如下 步骤： a)在驾驶人正前方和右上方车顶的位置安装摄像头， 通过正前方的摄像头获取驾驶人 面部的实时图像， 通过右上 方车顶的摄 像头获取驾驶人侧部的实时图像； b)建立多模态学习门控循环单 元网络模型M M‑GRU； c)在驾驶室内安装WiFi信号发射装置和WiFi信号接收装置， 在WiFi信号接收装置中提 取WiFi‑CSI信息， 得到无线宽带信号的功率延迟分布S PDP； d)采用DCN N构建基于W iFi的驾驶人 行为特征提取模型W ‑DCNN； e)将多模态学习门控循环单元网络模型MM ‑GRU与基于WiFi的驾驶人行为特征提取模 型W‑DCNN进入融合， 得到多模态融合网络层结构； f)构建联合代价函数F， 通过代价函数F确立多模态融合网络层结构的最优参数， 获得 优化的多模态融合网络层结构， 将获取 的驾驶人面部的实时图像、 获取驾驶人侧部的实时 图像输入到优化的多模态融合网络层结构中的多模态学习门控循环单元网络模型MM ‑GRU 中， 构建SPDP曲线的频谱图， 将SPDP曲线的频谱图输入到优化的多模态融合网络层结构中 的基于WiFi的驾驶人行为特征提取模 型W‑DCNN， 在多模态融合网络层结构的顶层构建分类 器， 输出驾驶人 行为类别。 2.根据权利要求1所述的基于视觉 ‑WiFi信号联合检测的驾驶接管险态感知方法， 其特 征在于： 步骤b)中多模态学习门控循环单元网络模型MM ‑GRU依次由多模态学习网络模型 MDNN和门控循环单元GRU构成， 其中多模态学习网络模型MDNN依次由多模态特征输入层、 2 个隐藏层、 特 征输出层构成， 门控循环单 元GRU依次由重 置门和更新门构成。 3.根据权利要求1所述的基于视觉 ‑WiFi信号联合检测的驾驶接管险态感知方法， 其特 征在于： 步骤c)中利用快速傅里叶变换通过公式 计算得到 宽带信号的功率延迟分布SPDP， 式中a为角频率， δ( ·)为狄拉克δ函数， t为当前时间， t1为 信号的传播延迟时间， F为系数， c0为全信道CSI数据。 4.根据权利要求1所述的基于视觉 ‑WiFi信号联合检测的驾驶接管险态感知方法， 其特 征在于： 步骤d)中的基于WiFi的驾驶人行为特征提取模型W ‑DCNN依次由第一卷积层、 第一 汇聚层、 第二卷积层、 第二汇聚层、 第三卷积层、 第四卷积层、 第五卷积层、 第三汇聚层、 第一 全连接层、 第二全连接层 及第三全连接层构成。 5.根据权利要求1所述的基于视觉 ‑WiFi信号联合检测的驾驶接管险态感知方法， 其特 征在于： 步骤e)中根据公式J( θ )＝L( θ )+λφ( θ )计算得到多模态融合网络层结构的融合层 的正则项J( θ )， 式 中L( θ )为损失函数， λ为 正则化系数， φ( θ )为 正则化函数。 6.根据权利要求4所述的基于视觉 ‑WiFi信号联合检测的驾驶接管险态感知方法， 其特 征在于： 第一卷积层 使用两个大小为 11×11×3×48的卷积核， 步长S＝4， 零填充P＝3， 第一 汇聚层使用大小为3 ×3的最大汇聚操作， 步长S＝2， 第二卷积层使用两个大小为5 ×5×48 ×128的卷积核， 步长S＝1， 零填充P＝2， 第二汇聚层 使用大小为3 ×3的最大汇聚操作， 步长 S＝2， 第三卷积层使用一个大小为3 ×3×256×384的卷积核， 步长S＝1， 零填充P＝2， 第四 卷积层使用两个大小为3 ×3×192×192的卷积核， 步长S＝1， 零填充P＝1， 第五卷积层 使用 两个大小为3 ×3×192×128的卷积核， 步长S＝1， 零填充P＝1， 第三汇聚层使用大小为3 ×3权　利　要　求　书 1/2 页 2 CN 114782935 A 2的最大汇聚操作， 步长S＝2， 第一全连接层的神经元数量为4096， 第二全连接层的神经元数 量为4096， 第三全连接层的神经 元数量为1000。 7.根据权利要求1所述的基于视觉 ‑WiFi信号联合检测的驾驶接管险态感知方法， 其特 征在于： 步骤f)中通过公式 构建SPDP曲线的频谱图， 式中n与m均 为时间， ω为时间长度为m的窗口函数， R为阶越大小， e为自然常数， j为虚数 单位。 8.根据权利要求1所述的基于视觉 ‑WiFi信号联合检测的驾驶接管险态感知方法， 其特 征在于， 步骤f)中构建联合代价 函数F的步骤为： f‑1)通过公式 计算得到多模态学习 门控循环单 元网络模型MM ‑GRU行为特征代价函数Fb1， 式中x1为多模态学习门控循环单元网络模型MM ‑ GRU的行为特征， n为行为特征总数， y1为多模态学习门控循环单元网络模型MM ‑GRU的实际 值， a1为多模态学习门控循环单 元网络模型M M‑GRU的输出值； f‑2)通过公式 计算得到基于WiFi的驾驶人行为 特征提取模型W‑DCNN行为特征代价函数Fb2， 式中x2为基于WiFi的驾驶 人行为特征提取模型 W‑DCNN的行为特征， n为行为特征总数， y2为基于WiFi的驾驶人行为特征提取模型W ‑DCNN的 实际值， a2为基于WiFi的驾驶人 行为特征提取模型W ‑DCNN的输出值； f‑3)通过公式 计算得到多模态融合网络层结构 行为特征代价函数Fb0， 式中x0为多模态融合网络层结构的行为特征， n为行为特征总数， y0 为多模态融合网络层结构的实际值， a0为多模态融合网络层结构的输出值； f‑4)通过公式F＝α Fb0+β Fb1+γ Fb2计算得到联合代价 函数F， 式中α 、 β 、 γ均为权 重系数。权　利　要　求　书 2/2 页 3 CN 114782935 A 3