(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211100689.6 (22)申请日 2022.09.09 (71)申请人 中诚华隆计算机技 术有限公司 地址 100012 北京市朝阳区来广营乡紫月 路18号院3号楼8层 (72)发明人 王嘉诚　张少仲　张栩　 (74)专利代理 机构 北京智燃律师事务所 1 1864 专利代理师 柴琳琳 (51)Int.Cl. G06F 9/50(2006.01) G06N 3/04(2006.01) G06N 3/063(2006.01) G06V 10/46(2022.01) G06V 10/50(2022.01) G06V 40/16(2022.01)G10L 25/30(2013.01) G10L 25/21(2013.01) G10L 25/87(2013.01) G10L 25/93(2013.01) (54)发明名称 一种基于语音和图像特征的算力均衡执行 方法及芯片 (57)摘要 本发明公开了一种基于语音和图像特征的 算力均衡执行方法及芯片， 涉及负载均衡技术领 域， 包括以下步骤： 接收待处理的数据， 包括语音 数据与图像数据； 对待处理的数据进行预处理， 预处理包括A /D转换、 快速傅里叶变换， 生成第一 特征图； 提取第一特征图的频带宽度数据， 判别 其对应的输入信号类型， 传送至第一任务池或者 第二任务池中进行下一步处理； 分别进行对应任 务的处理， 输出处理结果。 通过对数据信号进行 预处理， 将不同的信号传送至相应的神经网络进 行下一步处理， 可以差别设计各神经网络的运算 量， 提高芯片内神经网络模块处理的效率； 在对 信号处理实时性要求较高的场合， 可有效减小语 音信号和图像信号处 理的时延， 提高运行速度。 权利要求书2页 说明书5页 附图3页 CN 115328661 A 2022.11.11 CN 115328661 A 1.一种基于语音和图像特 征的算力均衡执 行方法， 其特 征在于， 包括以下步骤： 接收待处 理的数据， 所述待处 理的数据包括语音数据与图像数据； 对所述待处理的数据进行预处理， 所述预处理包括A/D转换、 快速傅里叶变换， 生成第 一特征图； 提取第一特征图的频带宽度数据， 判别其对应的输入信号类型， 将语音信号传送至第 一任务池， 同时将图像信号传送至第二任务池中进行 下一步处理； 第一任务池和第 二任务池分别进行对应任务的处理， 输出处理结果， 供后续任务使用； 所述第一任务池采用训练好的语音神经网络模型， 所述语音神经网络模型包括卷积神经网 络与循环神经网络， 所述循环神经网络通过双向长短期记忆记录语音序列的时序特征； 所 述第二任务池采用训练好的图像神经网络模型， 所述图像神经网络模型提取图像的HOG特 征、 LBP特 征以及Har r特征。 2.根据权利要求1所述的一种基于语音和图像特征的算力均衡执行方法， 其特征在于， 所述A/D转换包括抽样、 量 化和编码， 将输入的模拟量信号 转换为数字信号。 3.根据权利要求1所述的一种基于语音和图像特征的算力均衡执行方法， 其特征在于， 所述快速傅里叶变换为硬件电路实现， 采用基于流水线的快速傅里叶变换 方法。 4.根据权利要求1所述的一种基于语音和图像特征的算力均衡执行方法， 其特征在于， 所述第一任务池进行语音数据的处理， 通过训练神经网络模型， 对输入的第一特征图进行 识别处理， 输出处 理结果。 5.根据权利要求1所述的一种基于语音和图像特征的算力均衡执行方法， 其特征在于， 所述第二任务池进行图像数据的处理， 通过训练神经网络模型， 对输入的第一特征图进行 识别处理， 输出处 理结果。 6.根据权利要求4所述的一种基于语音和图像特征的算力均衡执行方法， 其特征在于， 所述第一任务池为语音神经网络模型， 特 征提取具体步骤 包括： 端点检测， 通过区分有声段、 无声段和浊音段的信号以区划语句的开头与 结尾， 得到有 效语音序列； 预加重， 增 加所述有效语音序列的高频能量， 提高信噪比， 得到加重语音序列； 分帧和加窗， 对所述加重语音序列按设定的时间间隔进行分段， 然后利用带通滤波器 过滤信号， 以减小信号的误差， 得到依赖 于时间的帧序列； 快速傅里叶变换， 将所述帧序列输入快速傅里叶变换硬件电路， 把时域图转换为各帧 的频谱； 特征向量提取， 使用感知线性预测技 术提取所述频谱的特 征向量， 生成语音特 征参数； 神经网络识别， 将语音特 征参数输入神经网络模型， 输出语音识别结果。 7.根据权利要求5所述的一种基于语音和图像特征的算力均衡执行方法， 其特征在于， 所述第二任务池为图像神经网络模型， 提取的特 征包括： 方向梯度直方图特征， 首先将图像分成小的连通区域， 然后采集联通区域中各像素点 的梯度和边 缘的方向， 构成方向梯度直方图特 征； 局部二值模式特征， 用来描述图片区域的纹理信息， 通过将检测窗口分成16x16的 cell， 对每个cell中的一个像素与周围8个像素进行比较， 计算每个cell的直方图， 最后将 得到的每 个cell的统计直方图进行 连接成为局部二 值模式特 征；权　利　要　求　书 1/2 页 2 CN 115328661 A 2Harr特征， 用于图像中的人脸表示， 在出现人脸的图像中， 提取Harr特征用于人脸检 测。 8.根据权利要求6所述的一种基于语音和图像特征的算力均衡执行方法， 其特征在于， 所述语音神经网络包括卷积神经网络和循环神经网络， 所述卷积神经网络包括依序连接的 第一卷积层、 池化层和第二卷积层： 第一卷积层为128个大小为1 ×9的过滤器， 横向步长设置为2， 通道设置为1； 池化层为大小为1 ×3的最大池化层， 步长设置为1； 第二卷积层为25 6个大小为1 ×4的过滤器， 横向步长设置为1， 通道设置为64。 9.根据权利要求8所述的一种基于语音和图像特征的算力均衡执行方法， 其特征在于， 所述循环神经网络采用长短期记 忆结构和基于神经网络的时序类分类进行语音识别。 10.一种基于语音和图像特征的算力均衡执行芯片， 其特征在于， 所述执行芯片包括通 用处理器和神经网络处理器， 所述神经网络处理器用于执行权利要求1 ‑9任一项所述的方 法。权　利　要　求　书 2/2 页 3 CN 115328661 A 3