[发明专利]一种在线人工文本标记系统及方法

说明书

一种在线人工文本标记系统及方法，其特征在于：系统包括自然语言处理工具库、数据库、文本数据搜集及预处理模块、服务器模块和操作模块。实施本发明的技术方案可解决现有技术中缺乏自动数据管理、纯人工标记效率低、正确率低、缺少多类型文本标记支持的技术问题；方法上通过自动标记服务对于文本源进行结构化预处理以及自动标记程序，通过自然语言处理算法配合质量控制模块以及人工干预，可实现在线进行高效、高正确率、提供自动数据管理和多场景应用的技术效果。

技术领域

本发明涉及数据工程领域、自然语言处理领域和计算机辅助系统领域，特别涉及一种在线人工文本标记系统及方法。

背景技术

文本标记工具的基本功能是对自然语言文本(以下简称为“文本”)中的要素进行标记，其目的是在保证正确性和效率的前提下，对文本中的要素(包括但不限于分词、实体、关系、补全成分)进行标记，并生成包含文本和标记信息的数据。

一般地，在线浏览器-服务器方式的手工标记工具，即所有文本要素的标记都需要由人工操作完成，标记的校对审核也由人工操作完成。其结构组成包括：后台服务器，前端可视化模块。这种方式的主要问题在于以下缺点：1、效率低。纯手工标记方式依赖于标记人员的熟练度，标记大量数据需要投入极高的人力成本和时间成本。2、无法保证正确性。纯手工标记式的数据质量完全依赖于人工审核，有些平台的审核过程只能在平台外部实现。这种方式不仅效率低下，也容易由人为错误而误判，甚至引入新的错误。

现有的文本标记平台主要有Brat，Anafora等。它们除了以上的缺点以外，还存在以下不足：1、可以标记的文本要素固定且有限。上述标记平台只支持简单实体标记和简单关系标记，不支持如分词和文本补全等其他文本要素的标记。2、不支持自动数据管理。所有涉及到的数据都需要手动配置和管理，由系统管理员配置任务以及导出标记数据。科研和工程人员在解决这些问题的时候往往需要结合多种工具或者根据实际需求进行二次开发，费时费力。

故，需要一种能够在线进行高效、高正确率、提供自动数据管理和多场景应用的自动文本标记系统和方法。

发明内容

为了解决上述技术问题，本发明中披露了一种在线人工文本标记系统及方法，的技术方案是这样实施的：

一种在线人工文本标记系统，包括自然语言处理工具库、数据库、文本数据搜集及预处理模块、服务器模块和操作模块；其中：

所述文本数据搜集及预处理模块接收外部的文本源，按照服务器模块产生的文本需求对于所述文本源进行结构化处理，产生符合所述数据模型的所述待标记数据并存储所述待标记数据于所述数据库；

所述服务器模块从所述数据库中获得所述待标记数据，通过调用所述自然语言处理工具库的自然语言处理标记服务进行自动标记生产所述自动标记数据，并存储所述自动标记数据在所述数据库；

所述操作模块为可视化操作界面，包括数据处理互动模块，所述数据处理互动模块接收所述服务器模块中的所述待标记数据和所述自动标记数据，并用以显示、编辑和向所述服务器模块发送所述待标记数据和所述自动标记数据。

优选地，所述操作模块为图形化前端模块或客户端模块，还包括：

任务管理交互模块，用以录入任务信息和操作记录并向服务器模块发送；

用户管理交互模块，用以录入用户信息并向服务器模块发送；

标记工具交互模块，用以录入人为编辑待标记数据和人为标记数据并向服务器模块发送。

优选地，所述服务器模块包括：

自动标记模块，通过使用所述自然语言处理工具库所提供的自动标记服务对于所述待标记数据和/或所述人为编辑待标记数据进行标记处理产生所述自动标记数据，并将所述自动标记数据发送并存储于所述数据库；