[发明专利]一种基于三维重建的实验操作评分方法和装置

说明书

本发明公开了一种基于三维重建的实验操作评分方法，包括：获取实验操作场景同一时间戳对应的主视图、侧视图和俯视图；从主视图、侧视图和俯视图中分别获取同一像素点对应的二维坐标对；基于自底向上法和模型引导法和/或自顶向下法将获取的二维坐标对转换为三维坐标；基于三维坐标与预设标准坐标之间的差值对实验操作进行评分，得到实验评分结果。本方案能够更加准确地判断实验操作是否正确和规范，减少因遮挡或摄像条件受限引起的判断误差。

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种基于三维重建的实验操作评分方法、装置、计算设备及存储介质。

背景技术

现有的智能实验测评系统主要是从前视图、俯视图或侧视图中得到实验操作信息，然后再进行目标检测获得实验测评结果。但是仅仅从三个视图中获取实验操作信息会存在遮挡和位置偏差，影响目标检测和实验评分的准确性。

因此，需要一种实验操作评分方法，能够对实验场景中的器件位置进行更加精确的判断，提高实验操作评分的准确性，以解决现有技术中存在的问题。

发明内容

本发明提出一种克服上述问题或者至少部分地解决上述问题的一种基于三维重建的实验操作评分方法，通过不同视角的摄像头获取实验场景同一时间戳对应的三视图，并基于自底向上、模型引导和自顶向下的三维重建方法的结合对实验场景和器件进行三维重建，得到实验场景和器件的三维坐标信息，以便更加准确地判断器件之间的相对位置以及器件在实验场景中的位置，减小遮挡或摄像头光线问题引起的检测误差，提高实验操作评分的准确性。

根据本发明的第一方面，提供一种基于三维重建的实验操作评分方法，包括：获取实验操作场景同一时间戳对应的主视图、侧视图和俯视图；从主视图、侧视图和俯视图中分别获取同一像素点对应的二维坐标对；基于自底向上法和/或模型引导法和/或自顶向下法将二维坐标对转换为三维坐标；基于三维坐标与预设标准坐标之间的差值对实验操作进行评分，得到实验评分结果。

本方案能够充分利用多视角摄像头获取的实验场景信息，对实验场景和器件进行三维重建得到器件在实验场景中的三维坐标信息，能够更加准确地确定目标器件的位置，减少遮挡或角度、光线干扰等带来的检测误差，能够提高实验操作评分的准确性。

可选地，在上述方法中，通过设置在实验操作台上方、侧方和前方的图像采集设备实时采集实验操作主视视频、侧视视频和俯视视频；从主视视频、侧视视频和俯视视频中分别抽取同一时间戳对应的实验操作主视图、侧视图和俯视图。

可选地，在上述方法中，可以在同一时间戳对应的主视图、侧视图和俯视图中分别获取同一像素点的二维坐标，组成二维坐标对，其中，从多个视角的图像中获取的像素点二维坐标对的数量为三个或三个以上。

可选地，在上述方法中，可以基于自底向上法将二维坐标数据转换为三维实体模型；基于模型引导法对三维实体模型进行切削，使三维实体模型的三视图与获取的实验操作场景的三视图一致，得到最终的三维模型；基于三维模型获取场景的三维坐标。

可选地，在上述方法中，基于B-rep模型将多个二维坐标点连接构建为三维线框；基于三维线框构建外环，基于每两条线框确定的平面按照外环的方向寻找最小封闭区域；将每个最小封闭区域封装成三维实体模型。

可选地，在上述方法中，将主视图或侧视图或俯视图输入训练好的目标检测模型，输出器件检测结果；基于器件检测结果从器件模型库中获取对应的器件模型；基于模型引导法对器件模型进行切削，使器件模型的三视图与图像采集的器件三视图一致，得到器件的三维坐标。

可选地，在上述方法中，可以基于实验场景与器件之间的三维坐标距离和/或器件之间的三维坐标距离判断实验操作是否正确；基于三维重建得到的三维坐标与预设标准坐标之间的距离判断实验操作是否规范，确定实验操作评分结果。

根据本发明的第二方面，提供一种基于三维重建的实验操作判断装置，包括：图像获取模块、坐标获取模块、坐标转换模块和评分模块。