(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211305162.7 (22)申请日 2022.10.24 (71)申请人 中国航空综合 技术研究所 地址 100028 北京市朝阳区东 直门外京顺 路7号 (72)发明人 贾万琛　苗冲冲　丁霖　王满玉　 郭司南　吴旭　安凯　孙国强　 张睿明　张明昭　何志凯　 (74)专利代理 机构 北京孚睿湾知识产权代理事 务所(普通 合伙) 11474 专利代理师 韩燕 (51)Int.Cl. G10L 25/66(2013.01) A61B 5/00(2006.01) A61B 5/18(2006.01)G10L 25/18(2013.01) G10L 25/30(2013.01) G10L 25/45(2013.01) (54)发明名称 基于梅尔谱图分解和神经网络融合进行疲 劳度检测的方法 (57)摘要 本发明公开了一种基于梅尔谱图分解和神 经网络融合进行疲劳度检测的方法， 其包括以下 步骤： 1)从语音疲劳数据库中获取已分类的语音 数据， 进行预处理得到梅尔谱 图； 2)通过图像处 理方法对数据进行增广； 3)将每张梅尔谱图以频 率维度进行分解得到低频、 中频、 高频三个频梅 尔谱图； 4)构建并训练三个疲劳度检测神经网络 子模型； 5)将三个疲劳度检测神经网络子模型中 最后一个卷积层输出的特征图组， 以频率为维度 重新拼接为全 频段特征图， 构建并训练疲劳度检 测神经网络融合模型； 6)获取新的语音数据， 输 出相应疲劳度分类。 本发明扩充梅尔谱图数据并 对神经网络进行改进， 可应对不同时长语音数 据， 有效对语音疲劳状态进行检测。 权利要求书2页 说明书8页 附图2页 CN 115547362 A 2022.12.30 CN 115547362 A 1.本发明提供一种基于梅尔谱图分解和神经网络融合进行疲劳度检测的方法， 其特征 在于： 其包括如下步骤： S1： 获取语音疲劳数据， 进行 预处理并获得梅尔谱图； S11： 从数据库中获取已经进行疲劳度分类的语音疲劳数据， 疲劳度分类包括3种状态： 清醒状态、 中度疲劳状态、 重度疲劳状态； S12： 对每条语音疲劳数据进行 预加重； S13： 对预加重语音疲劳数据进行分帧； S14： 对分帧语音疲劳数据采用汉明窗进行加窗处 理； S15： 得到语音疲劳数据的梅尔谱图； S2： 通过图像处 理方法将数据进行增广； 对步骤S1中的每张梅尔谱图进行数据增强操作来扩充梅尔谱图的数据集， 对每张梅尔 谱图都进行以下四种操作进行数据增强： 时间平移、 频率遮蔽、 时间遮蔽和时频遮蔽， 使得 每张梅尔谱图都被扩充为5张梅尔谱图； S3： 将每张梅尔谱图以频率维度进行分解， 得到梅尔谱图的低频梅尔谱图、 中频梅尔谱 图、 高频梅尔谱图； S4： 将步骤S3中得到的低频梅尔谱图、 中频梅尔谱图、 高频梅尔谱图作为输入， 分别构 建并训练三个疲劳度检测 神经网络 子模型， 三个疲劳度检测 神经网络 子模型结构相同； S41： 构建疲劳度检测 神经网络 子模型， 具体结构如下： (1)疲劳度检测神经网络子模型具体连接结构为： 由C1、 C2、 P1、 C3、 C4、 P2、 C5、 C6、 C7、 P3、 C8、 C9、 C10、 P4、 C11、 C12、 C13、 SPP1、 FC1、 FC2、 SF1依次堆叠构成， 其中数字表示模块序 号， 字母表示模块类型， 具体为： C表示轻量卷积块， P表示池化层， SPP表示空间金字塔池化 层,FC表示全连接层， SF表示Softmax层； (2)轻量卷积块中包 含有常规卷积和轻量卷积； 对有P个卷积核的轻量卷积， 只随机使用P/2个卷积核进行常规卷积计算， 得到P/2个本 征特征图， P为正偶数， 再使用轻量卷积对逐个本征特征图进 行卷积， 获得P /2个轻量化特征 图， 然后将本征 特征图与轻量 化特征图组合到一 起作为轻量卷积块的输出； (3)使用空间金字塔池化层进行维度转换， 将特 征维度统一； S42： 训练基于卷积神经网络的疲劳度检测神经网络子模型， 得到训练完成的三个疲劳 度检测神经网络子模型， 根据输入分别为低频梅尔谱图、 中频梅尔谱图、 高频梅尔谱图， 将 三个疲劳度检测神经网络子模型相应称为低频疲劳度检测神经网络子模型、 中频疲劳度检 测神经网络 子模型、 高频疲劳度检测 神经网络 子模型； S5： 将三个疲劳度检测神经网络子模型中最后一个卷积层输出的特征图组， 以频率为 维度重新拼接为全频段特征图， 并以该全频域特征图组作为输入， 构建并训练疲劳度检测 神经网络融合模型； S51： 构建疲劳度检测 神经网络融合模型； 疲劳度检测神经网络融合模型具体连接结构： 由C14、 SPP2、 FC3、 FC4、 SF2依次堆叠构 成， 其中数字表 示模块序号， 字母表 示模块类型， 具体为： C表 示轻量卷积块， SPP表 示空间金 字塔池化层， FC表 示全连接层， SF表 示Softmax层； 卷积层配置、 激活函数设置与疲劳度检测 神经网络 子模型一 致；权　利　要　求　书 1/2 页 2 CN 115547362 A 2S52： 训练疲劳度检测神经网络 融合模型， 得到训练完成的疲劳度检测神经网络 融合模 型； S6： 获取语音数据， 使用 步骤S12‑S15中的步骤对语音数据进行预处理并获得梅尔谱 图； 使用步骤S 3对梅尔谱图进 行频域分解； 将数据输入到步骤S4中训练好的子模型中； 提取 三个子模型最后一个卷积层输出的特征图， 拼接为全频段特征图， 输入到步骤S5中训练好 的疲劳度检测 神经网络融合模型中； 输出语音数据的疲劳度分类。 2.根据权利要求1所述的基于梅尔谱图分解和神经网络融合进行疲劳度检测的方法， 其特征在于： 所述步骤S2中时间平移、 频率遮蔽、 时间遮蔽和时频遮蔽的具体实现步骤如 下： ①： 时间平移， 梅尔谱图随机向右移动一段距离， 空出来的部分用高斯噪声填补； 高斯 噪声指概 率密度函数服从高斯分布的噪声； ②： 频率遮蔽， 对f个连续的频率通道[f0， f0+f)应用遮蔽掩膜， f是从[0， F]均匀分布中 选择得到， F为频率掩膜参数， F为设置在(0， v)之间的一个整数值， f0从[0， v ‑f)中选择得 到， v代表梅尔频率 通道的总数量； ③： 时间遮蔽， 对t个连续的时间步长[t0， t0+t)应用掩膜， t从[0， T]的均匀分布中选择 的数字， T为时间掩膜参数， T为设置在(0， τ )之间的一个数值， t0从[0， τ ‑t)中选择， τ代表时 间步长的总数量； ④： 时频遮蔽， 同时使用时蔽和频率掩蔽； 对f个连续的频率通道[f0， f0+f)应用掩膜， f 是从[0， F]均匀分布中选择得到， F为频率掩膜参数， f0从[0， v ‑f)中选择得到， v代表梅尔频 率通道的数量； 对t个连续的时间步长[t0， t0+t)应用掩膜， t从[0， T]的均匀分布中选择的 数字， T为时间掩膜参数， t0从[0， τ ‑t)中选择。 3.根据权利要求1所述的基于梅尔谱图分解和神经网络融合进行疲劳度检测的方法， 其特征在于： 所述 步骤S3中低频梅尔谱图、 中频梅尔谱图、 高频梅尔谱图具体为： 通道通过的频率按照滤波器序号由低到高， 因此当梅尔滤波器数量为M时， 定义低频梅 尔谱图包括由通道0到 得到的梅尔谱图， 中频梅尔谱图包括由通道 到 得到的梅尔谱图,高频梅尔谱图包括由通道 到M得到的梅尔谱图。 4.根据权利要求1所述的基于梅尔谱图分解和神经网络融合进行疲劳度检测的方法， 其特征在于： 梅尔滤波器中滤波器数量为64； 低频梅尔谱图包括的通道为0到21、 中频梅尔 谱图包括的通道为2 2到42、 高频梅尔谱图包括的通道为 43到63。 5.根据权利要求1所述的基于梅尔谱图分解和神经网络融合进行疲劳度检测的方法， 其特征在于： 所述步骤S42中疲劳度检测神经网络子模型采用梯度下降算法对模型进行训 练， 整体损失函数为： 其中， m表示样本数， xi表示第i个样本， h表示预测函数,Θ表示预测函数中出现的所有 参数， hΘ(xi)表示第i个样 本xi的预测值， yj表示第i个样 本的真实值， λ表示正则化系数， n表 示参数的个数， θj表示第j个权 重。权　利　要　求　书 2/2 页 3 CN 115547362 A 3