(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111643629.4 (22)申请日 2021.12.2 9 (71)申请人 上海米学 人工智能信息科技有限公 司 地址 200030 上海市徐汇区中山西路2020 号502A35室 (72)发明人 刘晓俊　曹晓烨　 (74)专利代理 机构 北京品源专利代理有限公司 11332 代理人 康欢欢 (51)Int.Cl. G06F 16/332(2019.01) G06F 16/33(2019.01) G06F 16/35(2019.01) G06F 40/194(2020.01)G06F 40/284(2020.01) G06F 40/289(2020.01) G06F 40/30(2020.01) G06N 3/08(2006.01) (54)发明名称 开放式试题答案评分方法、 装置、 设备及存 储介质 (57)摘要 本发明公开了开放式试题 答案评分方法、 装 置、 设备及存储介质。 该方法包括： 获取目标试题 以及目标答案， 分别对目标试题以及目标答案进 行词句特征提取处理， 得到试题特征集和答案特 征集； 对试题特征集和答案特征集进行相似度衡 量， 得到语义相似度和字符相似度； 采用预先训 练好的目标意图解析模型， 确定试题特征集的试 题意图向量， 以及答案特征集的答案意图向量； 根据语义相似度、 字符相似度、 试题意图向量和 答案意图向量， 结合预先训练好的目标评分模 型， 确定目标答案的答案得分。 本发明提供的开 放式试题 答案评分方法可集 成于智能设备中， 用 户可以使用该智能设备对开放式试题的答案进 行快速准确评分， 提高阅卷效率， 在智 能教育领 域有突破性的改进。 权利要求书3页 说明书12页 附图3页 CN 114328874 A 2022.04.12 CN 114328874 A 1.一种开 放式试题答案 评分方法， 其特 征在于， 包括： 获取目标试题以及目标答案， 分别对所述目标试题以及所述目标答案进行词句特征提 取处理， 得到试题特 征集和答案特 征集； 对所述试题特征集和所述答案特征集进行相似度衡量， 得到语义相似度和字符相似 度； 采用预先训练好的目标意图解析模型， 确定所述试题特征集的试题意图向量， 以及所 述答案特征集的答案意图向量； 根据所述语义相似度、 所述字符相似度、 所述试题意图向量和所述答案意图向量， 结合 预先训练好的目标评分模型， 确定所述目标答案的答案得分。 2.根据权利要求1所述的开放式试题答案评分方法， 其特征在于， 所述分别对所述目标 试题以及所述目标答案进行词句特 征提取处 理， 得到试题特 征集和答案特 征集， 包括： 分别对所述目标试题和所述目标答案进行句嵌入操作， 得到试题句嵌入向量和答案句 嵌入向量； 对所述目标试题进行分词操作， 得到试题中文分词集和试题英文分词集， 对所述试题 中文分词集中的试题中文分词进行词嵌入操作， 得到试题词嵌入序列； 对所述目标答案进行分词操作， 得到答案中文分词集和答案英文分词集， 对所述答案 中文分词集中的答案中文分词进行词嵌入操作， 得到答案词嵌入序列； 将所述试题句嵌入向量、 试题词嵌入序列、 试题中文分词集和试题英文分词集构成试 题特征集， 将所述答案句嵌入向量、 答案词嵌入序列、 答案中文分词集和答案英文分词集构 成答案特 征集。 3.根据权利要求2所述的开放式试题答案评分方法， 其特征在于， 所述对所述试题特征 集和所述 答案特征集进行相似度衡量， 得到语义相似度和字符相似度， 包括： 根据所述试题句嵌入向量和所述 答案句嵌入向量， 确定语义相似度； 对所述试题中文分词集和所述答案中文分词集进行中文字符相似度衡量， 得到 中文字 符相似度， 对所述试题英文分词集和所述答案英文分词集进行英文字符相似度衡量， 得到 英文字符相似度； 根据所述中文字符相似度和所述英文字符相似度， 确定所述字符相似度。 4.根据权利要求2所述的开放式试题答案评分方法， 其特征在于， 所述采用预先训练好 的目标意图解析模型， 确定所述试题特征集的试题意图向量， 以及所述答案特征集的答案 意图向量， 包括： 运用目标意图解析模型中的目标试题意图解析网络对所述试题词嵌入序列进行意图 解析， 得到试题意图向量； 运用目标意图解析模型中的目标答案意图解析网络对所述答案词嵌入序列进行意图 解析， 得到答案意图向量。 5.根据权利要求4所述的开放式试题答案评分方法， 其特征在于， 所述目标意图解析模 型的训练过程包括： 构建包含试题意图解析网络、 答案意图解析网络和意图分类器的待训练意图解析模 型， 并将所述 意图分类 器的意图类别个数初始化 为预设类别数量； 基于训练词嵌入数据对所述待训练意图解析模型进行训练， 更新所述待训练意图解析权　利　要　求　书 1/3 页 2 CN 114328874 A 2模型的模型参数； 基于测试词嵌入数据对更新后的待训练意图解析模型进行测试， 并调整所述意图分类 器的意图类别个数； 返回重新对所述待训练意图解析模型进行训练及测试， 并确定所述意图类别个数的调 整趋势， 当所述调整趋势满足调整稳定条件时， 将最后一次更新的待训练意图解析模型确 定为目标意图解析模型。 6.根据权利要求5所述的开放式试题答案评分方法， 其特征在于， 所述基于训练词嵌入 数据对所述待训练意图解析模型进行训练， 更新所述待训练意图解析模型 的模型参数， 包 括： 获取预设训练数量组训练词嵌入数据， 将各所述训练词嵌入数据输入所述待训练意图 解析模型进 行训练， 更新所述待训练意图解析模型的模型参数， 其中， 所述训练词嵌入数据 包括训练试题词嵌入序列和训练答案词嵌入序列； 返回重新获取预设训练数量组训练词嵌入数据， 并更新所述模型参数的操作， 直至更 新次数达 到预设更新次数。 7.根据权利要求6所述的开放式试题答案评分方法， 其特征在于， 所述将各所述训练词 嵌入数据输入所述待训练意图解析模型进 行训练， 更新所述待训练意图解析模型的模型参 数， 包括： 针对每组训练词嵌入数据， 利用所述试题意图解析网络确定所述训练试题词嵌入序列 的训练试题意图向量， 利用所述答案意图解析网络确定所述训练答案词嵌入序列的训练答 案意图向量， 根据意图分类器对所述训练试题意图向量和所述训练答案意图向量进行意图 分类， 得到训练试题意图类型和训练答案意图类型； 根据各所述训练试题意图类型和对应的训练答案意图类型， 获得意图拟合损失函数； 通过所述意图拟合损失函数对所述待训练意图解析模型进行反向传播， 更新所述待训 练意图解析模型的模型参数。 8.根据权利要求5所述的开放式试题答案评分方法， 其特征在于， 所述基于测试词嵌入 数据对更新后的待训练意图解析模型进行测试， 并调整所述意图分类器的意图类别个数， 包括： 获取预设测试数量组测试词嵌入数据， 将各所述测试词嵌入数据输入更新后的待训练 意图解析模型， 其中， 所述测试词嵌入数据包括测试试题词嵌入序列和测试答案词嵌入序 列； 针对每组测试词嵌入数据， 利用所述试题意图解析网络确定所述测试试题词嵌入序列 的测试试题意图向量， 利用所述答案意图解析网络确定所述测试答案词嵌入序列的测试答 案意图向量； 根据各所述测试试题意图向量和对应测试答案意图向量的欧氏距离， 确定向量距离分 布情况； 当所述向量距离分布情况满足预设分布条件时， 将所述意图分类器的意图类别个数减 一； 否则， 将所述 意图分类 器的意图类别个数加一。 9.根据权利要求1所述的开放式试题答案评分方法， 其特征在于， 所述目标评分模型的 训练过程包括：权　利　要　求　书 2/3 页 3 CN 114328874 A 3