(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210540851.X (22)申请日 2022.05.17 (71)申请人 中南大学 地址 410083 湖南省长 沙市岳麓区麓山 南 路932号 (72)发明人 奎晓燕　刘京维　杜华坤　夏佳志　 (74)专利代理 机构 长沙永星专利商标事务所 (普通合伙) 43001 专利代理师 周咏　米中业 (51)Int.Cl. G06F 40/35(2020.01) G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 40/20(2022.01) G10L 15/22(2006.01) (54)发明名称 课堂分组讨论的可视化分析方法 (57)摘要 本发明公开了一种课堂分组讨论的可视化 分析方法， 包括获取待分析的分组讨论对话数据 并预处理； 提取处理后的分组讨论对话数据中的 对话回复关系； 对分组讨论中学生间的互动随时 间变化的关系进行可视化分析； 计算发言与议题 之间的关系并进行可视化分析； 对 学生参与讨论 期间的表现进行分析和可视化展示并辅助教师 进行分析。 本发 明提供的这种课堂分组讨论的可 视化分析方法， 通过创新的技术方案提取课程分 组讨论数据中的有用信息， 并将提取的信息进行 可视化分析和展示， 从事能够更好的辅助教师进 行课堂分组讨论的可视化分析； 而且本发明方法 的可靠性高、 准确性 好且科学合理。 权利要求书6页 说明书14页 附图5页 CN 114970558 A 2022.08.30 CN 114970558 A 1.一种课 堂分组讨论的可视化分析 方法， 包括如下步骤： S1.获取待分析的分组讨论对话数据， 并进行 预处理； S2.采用深度学习模型提取处 理后的分组讨论对话数据中的对话回复关系； S3.根据步骤S2得到的对话回复关系， 采用基于边绑定的互动关系视图， 对分组讨论中 学生间的互动随时间变化的关系进行 可视化分析； S4.根据步骤S2得到的对话回复关系， 采用基于回复关系树的议题分割算法， 计算发言 与议题之间的关系， 并采用增强日历图的方式进行 可视化分析； S5.采用学生表现特征模型对学生参与讨论期间的表现进行分析和可视化展示， 从而 辅助教师进行分析。 2.根据权利要求1所述的课堂分组讨论的可视化分析方法， 其特征在于步骤S1所述的 获取待分析的分组讨论对话数据， 并进行 预处理， 具体包括如下步骤： 语音数据预处 理， 用于从语音数据中提取对话文本： 采用DeepSpeech语音识别模块进行语音识别； 将语音数据中参与 者的发言进行识别并 转化为文本数据， 同时标记语句的起始和结束时间； 最后， 将结构化的文本数据进行保存； 说话人识别： 首先， 获取分组讨论中每个参与者的一段设定时长的音频数据； 根据获取的音频数据， 获取各个参与者的音频特征， 并生成属于每个参与者的语音签名； 最后， 将 语音数据中语音 与语音签名进行比较， 从而识别各 段语音所对应的说话人； 视频数据预处 理， 用于从视频 数据中提取关键帧图像以及学生的头 部姿态： 关键帧图像处理： 采用OpenCV图像处理模块进行视频数据中关键帧图像的提取； 设定 输入时间数组T为T＝[t1,t2,...,tk]， ti为需要提取的第i个关键帧图像在视频中所处的时 间点； 采用OpenCV图像处理模块解析目标视频并依次遍历时间数 组T， 从而计算得到数组中 每一项ti所对应的帧索引index为index＝ti*fps， fps为视频的帧率； 然后将帧索引用于设 定视频解码的位置， 然后将从解码位置提取 得到的帧图像进行输出和保存； 头部姿态识别算法： 从分组讨论的视频数据中， 提取组内每个人的头部姿态随时间的 变化情况； 从视频中采用降采样算法提取关键帧图像， 然后从关键帧图像中采用OpenPose 模型识别得到目标人物的头部 关键点的坐标值所述的头部 关键点为设定的左眼关键点、 有 眼关键点、 左耳关键点和右耳关键点； 最后， 采用如下算式计算得到第i帧的头 部姿态： 式中up为头部姿态为抬头； 为右眼关键点在第i帧的Y轴坐标值； 为右耳关键 点在第i帧的Y轴坐标值； 为左眼关键点在第i帧的Y轴坐标值； 为左耳关键点在第i 帧的Y轴坐标值； T为设定的阈值； do wn为头部姿态为低头； mis s为离开； NaN表示数值 缺失； 文本数据处 理， 用于对文本数据进行清洗和结构化处 理： 大小写转换： 将英文 文本中的所有字母统一 转换为大写字母或小 写字母；权　利　要　求　书 1/6 页 2 CN 114970558 A 2去除特殊字符： 去除文本中的特殊字符， 仅保留字母和数字； 去除停用词： 根据停用词表， 去除文本中的停用词； 词形还原： 采用开源文本 处理python库Gensim  WordNetLemmatizer进行单词的词形还 原。 3.根据权利要求2所述的课堂分组讨论的可视化分析方法， 其特征在于步骤S2所述的 采用深度学习模型提取处理后的分组讨论对话数据中的对话回复关系， 具体为采用基于 MPC‑BERT预训练深度学习模型的回复关系识别算法提取处理后的分组讨论对话数据中的 对话回复关系； 具体包括如下步骤： A.模型预训练： 采用Ubuntu在线技 术交流论坛对话记录对深度学习模型进行 预训练： 由MPC‑BERT编码之后， 每个[CLS]标记已经包含了语义上下文； 将每个[CLS]标记通过 一层非线性变换和归一化后， 得到代表每一个单独语句Ui的向量vi， 且 为d 维向量空间； 采用如下算式计算语句Ui与之前所有话语的匹配分数mij： 式中softmax()为归一化指数函数； A为一次线性变换； mij为语句Ui与之前所有话语的 匹配分数， 用于表示Uj是被Ui所回复的匹配度； B.模型微调训练： 在课堂分组讨论数据集上对步骤A得到的预训练模型进行小样本微 调训练， 使模型适配课 堂分组讨论场景； 训练时， 采用如下算式计算交叉熵损失函数Lrur： 式中N为总语句数； yij为指示变量， 且若Uj是被Ui所回复的语句， 则yij＝1， 否则yij＝0； 1 ≤j＜i； C.模型推理： 采用训练好的模型， 对步骤S1获取的处理后的分组讨论对话数据进行推 理预测， 从而标记对话间的回复关系： 模型的推理过程为： 输入第i个语句及第i个语句之前的k个语句， k为超参数； 模型输出 为一个k维的匹配分向量S ＝[mi‑k,...,mj,...,mi‑1]， 表示前k个语句与第i个语句的匹配分 数， mj为语句j是被语句i回复的匹配分数； 将匹配分最大的语句作为被语句i回复的句子； 若k个语句的最大的匹配分数均低于预设的阈值mt， 则判定第i句话没有回复任何语句， 视 为开启一个新的会话。 4.根据权利要求3所述的课堂分组讨论的可视化分析方法， 其特征在于步骤S3所述的 根据步骤S2得到的对话回复关系， 采用基于边绑定的互动关系视图， 对分组讨论中学生间 的互动随时间变化的关系进行 可视化分析， 具体包括如下步骤： a.根据发言的角色和时间， 计算发言节点在视图中的坐标和节点半径； b.按照发言节点间的回复关系， 计算链接节点的边； c.采用边绑定算法， 对布局中的边交叉问题进行优化； d.在互动关系视图中， 展示学生互动随时间的变化情况。 5.根据权利要求4所述的课堂分组讨论的可视化分析方法， 其特征在于步骤a所述的根权　利　要　求　书 2/6 页 3 CN 114970558 A 3