(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210791816.5 (22)申请日 2022.07.05 (71)申请人 深圳市镜象科技有限公司 地址 518000 广东省深圳市南 山区粤海街 道高新区社区粤兴三道9号华中科技 大学深圳产学研 基地大楼B80 3 (72)发明人 黄立　苏里　纪丽燕　周善斌　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 邵泳城 (51)Int.Cl. G16H 50/20(2018.01) G06F 40/30(2020.01) G06N 20/00(2019.01) G10L 25/30(2013.01)G10L 25/66(2013.01) A61B 5/16(2006.01) (54)发明名称 基于语音分析的阿尔兹海默症的检测方法 及装置 (57)摘要 本申请提供一种基于语音分析的阿尔兹海 默症的检测方法、 检测装置、 训练方法、 训练装 置、 电子设备及非易失性计算机可读存储介质。 方法包括： 获取语音信息， 语音信息包括用户执 行预设的描述任务的语音； 将语音信息转换为文 本信息； 提取语音信息的多个第一特征， 以生成 第一特征向量、 及提取文本信息的多个第二特 征， 以生成第二特征向量； 拼接第一特征向量和 第二特征向量， 以生成待测特征向量； 及将待测 特征向量输入到预设的检测模型中， 以输出检测 结果。 能够被部署在任何具备麦克风的电子设备 上， 可被广泛应用于各种场景。 通过文本和语音 融合的方式可以提取到更多的特征信息， 提升检 测模型的准确性。 权利要求书2页 说明书8页 附图4页 CN 115547484 A 2022.12.30 CN 115547484 A 1.一种基于语音分析的阿尔兹海默症的检测方法， 其特 征在于， 包括： 获取语音信息， 所述语音信息包括用户执 行预设的描述任务的语音； 将所述语音信息转换为文本信息； 提取所述语音信息的多个第一特征， 以生成第一特征向量、 及提取所述文本信息的多 个第二特 征， 以生成第二特 征向量； 拼接所述第一特 征向量和所述第二特 征向量， 以生成待测特 征向量； 及 将所述待测特 征向量输入到预设的检测模型中， 以输出检测结果。 2.根据权利要求1所述的检测方法， 其特征在于， 所述提取所述语音信 息的多个第 一特 征， 以生成第一特征向量、 及提取所述文本信息的多个第二特征， 以生成第二特征向量， 包 括： 基于预设的卷积神经网络模型提取所述语音信 息的多个第 一特征， 以生成所述第 一特 征向量、 及基于预设的迁移模型提取 所述文本信息的多个第二特 征， 以生成第二特 征向量。 3.根据权利要求1所述的检测方法， 其特征在于， 所述提取所述语音信 息的多个第 一特 征， 包括： 提取所述语音信息中的停顿信息和语音的连续 性信息， 以作为多个所述第一特 征； 所述提取所述文本信息的多个第二特 征， 包括： 提取所述文本信息中的词性信息、 重复词汇信息和无意义词汇信息， 以作为多个所述 第二特征。 4.根据权利要求3所述的检测方法， 其特征在于， 所述提取所述语音信 息中的停顿信 息 和语音的连续 性信息， 以作为多个所述第一特 征； 包括： 识别所述语音信息中不同语句之间的停顿时长， 以确定所述停顿信息； 及 根据多个所述停顿时长的方差， 确定语音的连续 性信息； 所述提取所述文本信息中的词性信息、 重复词汇信息和无意义词汇信息， 以作为多个 所述第二特 征， 包括： 识别所述文本信息中的不同词性的词汇的数量， 以作为所述词性信息； 识别所述文本信息中的不同词汇的重复次数， 以作为所述重复词汇信息； 及 识别所述文本信息中的无意 义词汇的数量， 以作为所述无意 义词汇信息 。 5.根据权利要求1所述的检测方法， 其特征在于， 所述预设的描述任务包括描述预设图 像的内容和在预设时长内描述目标类型的不同目标对象的名称。 6.根据权利要求1所述的检测方法， 其特征在于， 所述检测结果包括正常概率、 轻度认 知障碍概率和阿兹海默症概率， 所述将所述待测特征向量输入到预设的检测模型中， 以输 出检测结果， 包括： 通过所述检测模型中的全连接网络处理所述待测特征向量， 以输出所述正常概率、 所 述轻度认知障碍概 率和所述阿兹海默症概 率。 7.一种训练方法， 其特 征在于， 包括： 获取训练样本， 所述训练样本包括语音样本和由所述语音样本转换而成的文本样本， 所述训练样本包括标签信息， 所述标签信息包括正常概率、 轻度认知障碍概率和阿兹海默 症概率； 提取所述语音样本的多个第一特征， 以生成第一特征向量、 及提取所述文本样本的多权　利　要　求　书 1/2 页 2 CN 115547484 A 2个第二特 征， 以生成第二特 征向量； 拼接所述第一特 征向量和所述第二特 征向量， 以生成待测样本特 征向量； 输入待测样本特 征及所述标签信息 到预设的检测模型， 以训练所述检测模型至收敛。 8.一种检测装置， 其特 征在于， 包括： 第一获取模块， 用于获取语音信息， 所述语音信息包括用户执行预设的描述任务的语 音； 转换模块， 用于将所述语音信息转换为文本信息； 第一提取模块， 用于提取所述语音信 息的多个第 一特征， 以生成第一特征向量、 及提取 所述文本信息的多个第二特 征， 以生成第二特 征向量； 第一拼接模块， 用于拼接所述第一特征向量和所述第二特征向量， 以生成待测特征向 量； 及 检测模块， 用于将所述待测特 征向量输入到预设的检测模型中， 以输出检测结果。 9.一种训练装置， 其特 征在于， 包括 第二获取模块， 用于获取训练样本， 所述训练样本包括语音样本和由所述语音样本转 换而成的文本样 本， 所述训练样本包括标签信息， 所述标签信息包括正常概率、 轻度 认知障 碍概率和阿兹海默症概 率； 第二提取模块， 用于提取所述语音样本的多个第 一特征， 以生成第一特征向量、 及提取 所述文本样本的多个第二特 征， 以生成第二特 征向量； 第二拼接模块， 用于拼接所述第一特征向量和所述第二特征向量， 以生成待测样本特 征向量； 训练模块， 用于输入待测样本特征及所述标签信息到预设的检测模型， 以训练所述检 测模型至收敛。 10.一种电子设备， 其特征在于， 包括处理器， 所述处理器用于执行权利要求1 ‑6任意一 项所述的检测方法； 或执 行权利要求7 所述的训练方法。 11.一种计算机程序的非易失性计算机可读存储介质， 其特征在于， 当所述计算机程序 被一个或多个处理器执行时， 实现权利要求 1‑6任意一项 所述的检测方法； 或执行权利要求 7所述的训练方法。权　利　要　求　书 2/2 页 3 CN 115547484 A 3