(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210801922.7 (22)申请日 2022.07.08 (71)申请人 华中师范大学 地址 430079 湖北省武汉市洪山区珞喻路 152号 (72)发明人 周东波　曾超勇　刘三女牙 　 戴志诚　张立山　李千千　 (74)专利代理 机构 武汉华之喻知识产权代理有 限公司 42 267 专利代理师 胡秋萍　曹葆青 (51)Int.Cl. G06Q 10/06(2012.01) G06Q 50/20(2012.01) G06V 20/40(2022.01) G06V 10/80(2022.01)G06V 30/14(2022.01) G06V 40/16(2022.01) G06V 40/20(2022.01) G10L 21/0272(2013.01) G10L 25/03(2013.01) G06F 40/30(2020.01) G06F 16/35(2019.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于深度学习的面向师-机-生教学成效评 估方法和系统 (57)摘要 本发明公开基于深度学习的面向师 ‑机‑生 教学成效评估方法和系统， 属于教学管理信息领 域。 包括： 采用视频特征提取网络模型， 从视频数 据分别提取出课堂学习过程师生的活动特征； 采 用语言模型， 从文本数据分别提取在线学习过程 教师、 学生、 辅导机器的活动特征； 采用语音特征 提取网络模型， 从音频数据分别提取出师生对 话、 师机对话、 生生对话、 生机对话过程的师生的 活动特征； 对各种特征进行融合， 得到教学成效 评估指标。 本发明提出以师 ‑机‑生为对象， 从复 合主体度进行教育成效评估， 综合考虑视频、 文 本、 音频多源数据， 采用 深度学习提取特征并融 合， 从不同的方面得到完整层次评估指标， 实现 复合主体认知的闭环反馈与能力的增强。 权利要求书2页 说明书7页 附图2页 CN 115146975 A 2022.10.04 CN 115146975 A 1.一种基于深度学习的面向师 ‑机‑生教学成效评估方法， 其特 征在于， 包括： 获取教学 过程中教师、 学生、 辅助机器产生的数据， 所述数据包括： 视频、 音频和文本； 采用预训练的视频特征提取网络模型， 从视频数据中分别提取出课堂学习过程教师、 学生的活动特征； 采用预训练的语言模型， 从文本数据中分别提取在线学习过程教师、 学 生、 辅导机器的活动特征； 采用预训练的语音特征提取网络模 型， 从音频数据中分别提取出 教师‑学生对话、 教师 ‑机器对话、 学生 ‑学生对话、 学生 ‑机器对话过程的教师、 学生的活动 特征； 对教师、 学生、 辅助机器的各种活动特 征进行融合， 得到教学成效评估指标。 2.如权利要求1所述的方法， 其特 征在于， 所述视频 特征提取网络模型包括： 特征提取模块， 用于分别提取视频的空间特征向量序列fspace＝{x1， x2， ...， xt}和时间 特征向量序列ftime＝{y1， y2，…， yt)； 加权融合模块， 用于对特征向量序列fspace和ftime进行自适应加权融合， 得到自适应加 权融合后的特 征向量序列 长时间序列化视频的特征提取模块， 用于将自适应加权融合后的特征向量序列按顺序 输入到循环神经网络中， 得到 长时间序列化视频的特 征； 其中， αi、 βi是对每个特征向量计算得到的 权重， 代表进入循环神经网络进行视频时序性训练的重要性。 3.如权利要求2所述的方法， 其特 征在于， 权 重αi、 βi的计算公式如下： 其中， a()表示打 分函数。 4.如权利要求3所述的方法， 其特 征在于， 打 分函数的计算公式如下： 其中， vi表示特征向量， 取值xi或yi， g(vi)表示获得vi所在类的类别个数， t表示特征向 量序列中向量个数。 5.如权利要求1所述的方法， 其特 征在于， 所述语音特 征提取网络模型包括： 编码模块， 用于将当前时刻输入的语音帧xt编码为发音基元 上下文向量提取模块， 用于将当前时刻输入的标签yu‑1与前期预测的所有标签拼接后， 输入至BERT模型， 得到上 下文向量； 组合模块， 用于组合编码模块的输出和预测模块的输出， 得到转录文本 。 6.如权利要求1所述的方法， 其特征在于， 所述语言模型为BERT模型， 用于对文本进行 句子层面的特 征向量表示。 7.如权利要求1至6任一项所述的方法， 其特征在于， 所述对教师、 学生、 辅助机器的各权　利　要　求　书 1/2 页 2 CN 115146975 A 2种活动特 征进行融合， 具体如下： (1)接收设定的教学情境的类别； (2)对教师、 学生和辅助机器， 分别分层提取不同教学情境类别的语义特征， 确定各主 体在各教学情境类别的语义属性， 确定各教学情境类别语义的多层语义逻辑关系； (3)对教师、 学生和辅助机器， 分别按照这些分层语义分类， 采用相应的粒度进行特征 级数据融合， 生成能准确描述各主体在教学 过程的场景 数据； (4)对具有关联语义的各主体在教学过程的场景数据进一步融合， 生成教学成效评估 指标。 8.一种基于深度学习的面向师 ‑机‑生教学成效评估系统， 其特征在于， 包括： 处理器和 存储器； 所述存储器用于存 储计算机程序或指令； 所述处理器用于执行存储器 中的所述计算机程序或指令， 使得权利要求1至7中任一项 所述的方法被执 行。权　利　要　求　书 2/2 页 3 CN 115146975 A 3