(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111622297.1 (22)申请日 2021.12.28 (71)申请人 成都佳发教育科技有限公司 地址 610000 四川省成 都市中国(四川)自 由贸易试验区成都市天府新区兴隆街 道湖畔路西段9 9号5栋1单元22层 (72)发明人 何茂　谢维义　 (74)专利代理 机构 成都立新致创知识产权代理 事务所 (特殊普通合伙) 51277 代理人 刘俊 (51)Int.Cl. G06F 16/435(2019.01) G06F 16/483(2019.01) G06V 20/40(2022.01)G06V 40/16(2022.01) G06V 10/30(2022.01) G06V 10/77(2022.01) G06V 10/764(2022.01) G10L 17/00(2013.01) G06K 9/62(2022.01) G06Q 50/20(2012.01) (54)发明名称 一种识别学习情绪进行个性化推荐的系统 及方法 (57)摘要 本发明公开了一种识别学习情绪进行个性 化推荐的系统及方法， 所述系统包括： 教学过程 采集单、 学生影像采集装置、 视音频合成单元、 交 互行为分析单元、 情绪评价单元、 智能切片单元、 个性化标注单元和个性化推荐单元。 本发明首先 利用教室内直录播影像系统采集与分析每个学 生的情绪数据、 学习状态， 对所有情绪数据进行 汇总统计， 并依据整体专注程度对视频进行切 片， 同时结合个人对不同片段的情绪表现， 最终 形成基于时间维度的个性化切片课堂录屏结果， 推荐给对应学生， 既能帮助学生更清楚的认识自 我学习状态， 更能有针对性的帮助学生有所侧重 的解决课 堂中的遗留问题。 权利要求书3页 说明书7页 附图1页 CN 114297418 A 2022.04.08 CN 114297418 A 1.一种识别学习情绪进行个性 化推荐的系统， 其特 征在于： 包括： 教学过程采集单 元， 对教师教学 过程的音视频信息进行采集； 学生影像采集装置， 用于对学生的影 像信息进行采集； 视音频合成单 元， 用于接收来自教学 过程采集单 元的音视频信息， 并进行音视频合成； 交互行为分析 单元， 用于根据交 互行为对视音频合成单 元输出的视频进行 标记； 情绪评价单元， 用于根据学生影像采集装置实时采集到的影像， 对学生个人进行情绪 识别， 标记当前时间流上该学生的状态， 并分析全体学生的情绪信息， 标记当前时间流上的 课堂情况； 智能切片单 元， 结合交 互行为分析 单元的到的结果， 对视频进行多维度切片； 个性化标注单 元， 用于根据学生的个人情绪评价， 对切片进行个性标注； 个性化推荐单 元， 用于整 套课程视频资源进行整理， 并向教师或学生进行推送。 2.根据权利要求1所述的一种识别学习情绪进行个性化推荐的系统， 其特征在于： 所述 系统还包括时间总控单元， 用于确保各种装置、 单元在时间上连续、 一致的同步， 使得系统 中多个装置、 多个单 元协同工作， 对同一时间点的课 堂教学行为的反馈信息加以采集利用。 3.根据权利要求1所述的一种识别学习情绪进行个性化推荐的系统， 其特征在于： 所述 教学过程采集模块包括： 教师影像采集装置， 即教师内的直录播设备， 用于采集教师的教学过程影像， 包括教师 的神态动作， 以及教师背后的黑板或白板的影 像， 并将图像传输 至视音频合成单 元； 教师PC录屏装置， 用于实现对教师PC屏幕的全程屏幕录像， 并将录制视频传输至视音 频合成单 元； 课堂音频采集装置， 用于采集课堂内的所有声音素材， 包括教师讲解语音， 学生作答语 音， 教师内播 放多媒体素 材时发出的声 音， 采集到的声 音将传输 至视音频合成单 元。 4.根据权利要求1所述的一种识别学习情绪进行个性化推荐的系统， 其特征在于： 所述 学生影像采集装置包括教室内的直录播设备， 设置与教于 室正前方， 面向所有 学生， 用于采 集位置上所有学生的表情、 体态特 征， 记录所有学生课 堂学习过程影 像。 5.根据权利要求3所述的一种识别学习情绪进行个性化推荐的系统， 其特征在于： 所述 视音频合成单元， 接收教师影像采集装置和PC录屏装置传输的视频流， 并与课堂音频采集 装置采集的音频进 行同步合 成， 输出连续的视频， 包括连续教师影像视频、 连续录屏影像视 频。 6.根据权利要求1所述的一种识别学习情绪进行个性化推荐的系统， 其特征在于： 所述 交互行为分析 单元包括： 教师声音识别模块， 用于识别教师声音， 在教师进行连续讲解的过程中进行教师讲解 标记； 学生作答声 音识别模块， 用于识别学生作答声 音， 在学生作答时进行 学生作答标记； 环境嘈杂音识别模块， 用于识别嘈杂环境音， 标记嘈杂环境标识； 安静环境音识别模块， 用于识别安静环境音， 标记安静环境标识； 教师板书识别模块， 用于识别教师板书行为， 进行教师板书标记； 幻灯片切换识别单元， 用于识别教师PC幻灯片切换、 切换到桌面行为， 进行对应分段标 记。权　利　要　求　书 1/3 页 2 CN 114297418 A 27.根据权利要求1所述的一种识别学习情绪进行个性化推荐的系统， 其特征在于： 所述 情绪识别单 元包括 个人情绪评价模块， 用于根据学生影像采集装置采集到的人脸信息， 对学生个人进行 情绪识别， 标记当前时间流上该学生的状态； 标记内容包括学生高兴、 平静、 愤 怒、 伤心的基 础表情情况， 以及的学情 情况， 所述学情 情况包括走神、 专 注、 思考、 睡觉、 其 他五类； 综合情绪评价模块， 用于根据学生影像采集装置采集到的影像， 分析全体学生的情绪 信息， 标记当前时间流上的课 堂情况： 在每个时间点上， 标记各种情绪下的学生占比， 包括高兴情绪下的学生占比、 平静情绪 下的学生占比、 愤怒平静情绪下的学生占比和伤 心平静情绪下的学生占比； 在每个时间点上， 标记各种学情下的学生占比， 包括走神 的学生占比、 专注的学生占 比、 思考的学生占比、 睡觉的学生占比、 其 他的学生占比。 8.根据权利要求1所述的一种识别学习情绪进行个性化推荐的系统， 其特征在于： 所述 智能行为切片单元工作时， 从教师影像将教师板书切为一段、 教师讲解切为一段、 教师提问 切为一段； 从教师音频上将教师连续讲解切为一段、 师生交互切为一段、 学生讨论切为一段 等； 从录屏影 像上将教师每次P PT翻页截为 一段； 所述个性化标注单元， 在进行多维度视频切片的同时， 基于综合情绪评价模块进行的 整体综合情绪分析情况， 对所切片段进行 标记： 对于得到的任一切片， 在该切片持续的时间内， 统计各种学情下的学生占比， 包括走神 的学生占比、 专注的学生占比、 思考的学生占比、 睡觉的学生占比、 其他的学生占比； 并利用 占比最大的学情对该切片进行 标记， 同时记录当前切片其 他学情的占比情况； 其中， 切片下任一学情的学生占比， 等于该切片持续时间内每个时间点上该学情占比 的平均值。 9.根据权利要求1所述的一种识别学习情绪进行个性化推荐的系统， 其特征在于： 所述 个性化推荐单 元包括： 教师推荐模块， 向教师反馈课堂学生综合表现， 了解整体学情， 反馈课堂过程中的各个 环节情况， 方便教师授课复盘； 学生推荐模块， 向学生反馈课堂个人综合表现以及标注为个人不专注、 不认真、 出现其 他异常情绪的切片内容， 这部分内容需进 行复习； 同时向学生推荐整体专注度较高的内容， 这部分内容是教师 讲授的重点内容， 最终帮助学生有效精准复习。 10.根据权利要求1所述的一种识别学习情绪进行个性化推荐的方法， 基于权利要求1 ～8中任意 一项所述的系统， 其特 征在于： 包括以下子步骤： S1.教学过程采集单元对教师教学过程的音视频信息进行采集,学生影像采集装置对 学生的影 像信息进行采集； S2.视音频合成单 元接收来自教学 过程采集单 元的音视频信息， 并进行音视频合成； S3.交互行为分析 单元根据交 互行为对视音频合成单 元输出的视频进行 标记； S4.情绪评价单元根据学生影像采集装置实时采集到的影像， 对学生个人进行情绪识 别， 标记当前时间流上该学生的状态， 并分析全体学生的情绪信息， 标记当前时间流上的课 堂情况； S5.智能切片单 元结合交互行为分析 单元的到的结果， 对视频进行多维度切片；权　利　要　求　书 2/3 页 3 CN 114297418 A 3