(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210884968.X (22)申请日 2022.07.26 (71)申请人 上海锡鼎智能科技有限公司 地址 201599 上海市金山区朱 泾镇临源街 750号5幢293F (72)发明人 刘凯　郑德欣　 (74)专利代理 机构 上海和华启核知识产权代理 有限公司 313 39 专利代理师 张孟磊 (51)Int.Cl. G06V 10/54(2022.01) G06V 10/77(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种用于理化生实验智能考评的器材大小 判别方法 (57)摘要 本发明揭示了一种用于理化生实验智能考 评的器材大小判别方法， 包括如下步骤： 将深度 相机进行深度流和RGB流进行对齐后， 将采集的 相关实验视频进行标注/推理时取出所要区别大 小器材的图片； 将取出图片所对应的深度信息以 矩阵形式保存至txt文件中， 并将取出图片按照 器材大小分类作为标签； 将取出的图片及对应的 txt文件数据送入到分类模型中进行训练， 并根 据损失函数进行模型的迭代优化； 将实验视频中 取出的图片送入到分类模型中， 模 型输出待检测 器材的大小结果。 本发明将深度信息嵌入到图像 通道中， 解决了基于卷积神经网络的分类方法无 法对纹理信息相同仅大小不同物体进行准确分 类的问题， 大 大提高了实验智能赋分的准确性。 权利要求书1页 说明书4页 附图2页 CN 115331026 A 2022.11.11 CN 115331026 A 1.一种用于理化 生实验智能考评的器材 大小判别方法， 其特 征在于， 包括如下步骤： 将深度相机进行深度流和RGB流对齐后， 将采集的相关实验视频进行标注/推理时取出 所要区别大小器材的图片； 将取出图片所对应的深度信息以矩阵形式保存至txt文件中， 并将取出图片按照器材 大小分类作为标签； 将取出的图片及对应的txt文件数据送入到分类模型中进行训练， 并根据损失函数进 行模型的迭代优化； 将实验视频中取 出的图片送入到分类模型中， 模型输出待检测器材的大小结果。 2.如权利要求1所述的用于理化生实验智能考评的器材大小判别方法， 其特征在于， 所 述标签按照器材 大小划分为多类。 3.如权利要求1所述的用于理化生实验智能考评的器材大小判别方法， 其特征在于， 所 述分类模型训练步骤为： 将取出的图片以及对应txt文件中保存的深度信息转换为张量， 并进行融合， 得到一个 形状为C*H*W的张量， 其中C， H， W分别表示取 出图片的通道、 高度以及宽度； 将上述张量通过动态权重分配模块进行动态权重分配， 动态获取对应原图片张量及深 度信息对应张量的权 重； 动态权重分配后的张量进入到特 征提取网络， 并通过Softmax 对图片进行分类； 采用损失函数对分类后的结果和对应标签值做损失计算， 并根据损失函数进行模型的 迭代优化。 4.如权利要求3所述的用于理化生实验智能考评的器材大小判别方法， 其特征在于， 所 述张量中C为 4， 且所述张量中C包括RGB通道信息和深度信息 。 5.如权利要求3所述的用于理化生实验智能考评的器材大小判别方法， 其特征在于， 所 述动态权 重分配模块包括CN N卷积层、 FC全连接层、 Relu激活函数层以及Sigmo id处理层。 6.如权利要求3所述的用于理化生实验智能考评的器材大小判别方法， 其特征在于， 所 述特征提取网络为shuf fleNet、 Mobi leNet、 Vit  transformer、 Ef ficientNet中的一种。 7.如权利要求3所述的用于理化生实验智能考评的器材大小判别方法， 其特征在于， 所 述损失函数采用交叉熵函数。权　利　要　求　书 1/1 页 2 CN 115331026 A 2一种用于理化生实验智能考评的器材大小判别方 法 技术领域 [0001]本发明涉及领域， 特别是涉及一种用于理化生实验智能考评的器材大小判别方 法。 背景技术 [0002]在初高中理化生实验考试考评中， 一些需要根据大小正确选用实验器材的的实验 的智能考评， 诸如， 选择合适大小的烧杯、 选择合适大小的试管， 选择合适大小的铁架台铁 圈等， 在这些实验中， 对于实验器材的正确选取往往都是重要的得分点， 能否正确判断实验 者所选器材是否是正确的大小， 关系到能否正确的判断实验者是否得分， 但由于所述大小 不同的实验器材， 除大小外其 他特征都相同， 常规的分类或目标检测算法对此难以区分。 [0003]针对实验器材中大小的检测， 目前常见的方法主 要有以下几种： [0004]1、 直接基于目标检测， 通过检测框(矩形框)， 检测出所需要判断的器材， 再通过与 一些和所需判断器材相对静止的器材 的检测框大小做对比， 如过滤实验中， 选择 的烧杯需 要放至铁架台上， 我们便可通过两个检测框的大小比值来确定所选烧杯大小是否合适， 但 该方法并不 适用所有实验； [0005]2、 通过语义分割和深度相机(深度流和RGB流做对齐后， 像素点具有了深度信息)， 由此计算器材 的长宽， 并结合器材到相 机的距离信息来判断所检测到的器材是大还是小， 该方法精度相对较高且具有通用性， 但是标注成本过高， 且所用的分割算法也难以保证准 确的分割出 所述器材的轮廓， 从而导 致对器材长 宽的误判； [0006]3、 直接通过目标检测， 将大小不 同的两个物体作为两个不 同的标签进行检测， 对 于该方法， 由于两个物体除大小外缺少其他不同的特征， 以及卷积神经网络的局限性， 会导 致误检率过高， 难以满足 实际需求。 发明内容 [0007]本发明的目的在于， 提供一种用于理化生实验智能考评 的器材大小判别方法， 以 解决基于卷积神经网络的分类方法无法对纹理信息相同仅大小不同物体进行准确分类的 问题， 提高实验智能赋分的准确性。 [0008]为解决上述技术问题， 本发明提供一种用于理化生实验智能考评的器材大小判别 方法， 包括如下步骤： [0009]将深度相机进行深度流和RGB流对齐后， 将采集的相关实验视频进行标注/推理时 取出所要区别大小器材的图片； [0010]将取出图片所对应 的深度信息以矩阵形式保存至txt文件中， 并将取出图片按照 器材大小分类作为标签； [0011]将取出的图片及对应 的txt文件数据送入到分类模型中进行训练， 并根据损失函 数进行模型的迭代优化； [0012]将实验视频中取 出的图片送入到分类模型中， 模型输出待检测器材的大小结果。说　明　书 1/4 页 3 CN 115331026 A 3