[发明专利]基于LabelMe的数据标注作业和试卷的评阅方法及系统

说明书

本发明实施例公开了一种基于LabelMe的数据标注作业和试卷的评阅方法及系统，所述方法包括：步骤1：对文件进行预处理；步骤2：构建预设的自然语言处理模型并训练，从预处理后的文件中提取答案和标准答案进行比对，完成评阅；步骤3：综合计算得到作业或试卷的最终分数；步骤4：对数据标注作业或试卷进行查重。本发明解决了目前数据标注作业和试卷依赖人工评阅的关键问题，提高数据标注作业和试卷评阅效率和质量，降低数据标注作业和试卷评阅成本；本发明为数据标注在社会、行业企业、高校等处的有效应用提供保障。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于LabelMe的数据标注作业和试卷的评阅方法及系统。

背景技术

随着人工智能技术突飞猛进地发展，数据标注行业也受到了越来越多的关注。在人工智能训练师的国家职业技能标注中，明确指出该职业包含数据标注员和人工智能算法测试员两个工种。人工智能行业企业纷纷寻找专业的数据标注工程师，协同政府、产业协会、高校等机构组织关于数据标注的竞赛和职业认证。高校也开始开设围绕数据标注为核心的课程。

随着数据标注竞赛、职业资格考试、课程的不断涌现和发展，数据标注作业和试卷的数量急剧增加。然而，显著区别于传统学科的作业和考试，其内容多为基于图像的框标注、线标注、区域标注和点标注，而非以文字的形式呈现，且多为无纸化操作，需要特定的软件。当前对于这些数据标注作业和试卷的评阅高度依赖人工，评阅成本较高。以一份包括人脸分类标注、物品分类标注、行人矩形框标注、车牌矩形框标注、人脸矩形框标注、车辆区域标注、道路标志线区域标注和人脸点标注的试题为例，人工评阅一份试卷约需要0.5小时。此外，评阅人高强度连续工作之下必然导致部分作业或者试卷的评分不客观，降低评分质量。

LabelMe是麻省理工学院的计算机科学和人工智能实验室(CSAIL)研发的图像标注软件。该软件为开源软件，使用Python编写，具有图形界面，已被广泛应用于各类数据标注的任务中。使用LabelMe进行数据标注之后会生成一个JSON格式的文件，该文件中包含了多项信息，如软件版本、标签、颜色、点坐标、形状、原始图像路径、原始图像数据。自动化评阅的难点在于，一张图片中可能存在多个需要标注的目标，如何进行坐标计算来判定一个物体是否被正确标注。

发明内容

本发明实施例所要解决的技术问题在于，提供一种基于LabelMe的数据标注作业和试卷的评阅方法及系统，以解决目前数据标注作业和试卷依赖人工评阅的关键问题，提高数据标注作业和试卷评阅效率和质量，降低数据标注作业和试卷评阅成本。

为了解决上述技术问题，本发明实施例提出了一种基于LabelMe的数据标注作业和试卷的评阅方法，包括：

步骤1：通过LabelMe对作业或试卷文件进行数据标注，得到图像文件和对应的JSON文件并提交，对得到的JSON文件进行预处理，剔除其中不合格文件和无需继续评阅的数据，得到预处理后的JSON文件；

步骤2：构建预设的自然语言处理模型并训练，从预处理后的JSON文件中提取人脸分类标注和物品分类标注的答案进行语义理解，然后与标准答案进行比对，完成对处理后的文件的评阅；读取预处理后的JSON文件中的行人矩形框标注、车牌矩形框标注、人脸矩形框标注、车辆区域标注、道路标志线区域标注中的对应的points中的坐标，计算其与标准答案中对应图像的交并比，然后选定多个阈值来进行评分；读取预处理后的JSON文件中的人脸点标注中的对应的points中的坐标，将其与标准答案中的点进行映射，然后计算其与标准答案中同序号点的距离，选定阈值来进行评分；

步骤3：与数据预处理中的扣分项进行综合计算，得到作业或试卷的最终分数；

步骤4：对数据标注作业或试卷进行查重，将同一批数据标注作业或试卷中相同的图像文件的JSON文件找出，对其中的点坐标进行比对，如果两份作业或试卷的重复率超过预设阈值，则判定为抄袭行为，推送给相关人员复核。

进一步地，步骤1中根据以下子步骤对文件进行预处理：