[发明专利]一种语料标注系统、方法及存储介质

说明书

本发明公开了一种语料标注系统、方法及存储介质，根据待标注语料数据的类别将待标注语料数据输入至对应的预标注模型中计算得到预标注语料数据，利用知识图谱和数据字典检查预标注数据所存在的标注错误等噪声风险点，对噪声风险点进行人工标注，最后将标注数据上传至分布式文件服务器，并在区块链中构建交易规则，按照预先构建的交易规则进行交易，由于按照不同类别对待标注语料数据进行了预标注，提高了预标注的准确率，且通过知识图谱和数据字典检查、标记和纠正预标注语料数据中的易错风险点，人工再对风险点进行确认性标注，在保证标注准确率的基础上减小了人工标注的工作量，在区块链对标注数据上进行交易，使得标注数据能够交易共享。

技术领域

本发明涉及人工智能，具体涉及一种语料标注系统、方法及存储介质。

背景技术

语料包括自然语言文本和语音信息的文件，例如XX的讲话.txt、XX的录音.wav，随着人工智能的发展，语料的用途越来越多，其可被计算机或者其他智能设备识别并处理以供使用，然而需要先对语料进行标注形成带标注信息的语料才能用来训练人工智能模型来完成信息的自动抽取和自动处理。

语料的标注是指把表示各种语言特征的附加码添加到相应的语言成分上，以便于计算机对语料进行识别和处理。

现有语料构建技术通常全部采用人工标注语料，或者全部机器标注后人工进行检查，这样都将耗费大量的人力和物力，并且所标注的语料全部归买方所有，无法进行共享。

发明内容

本发明主要解决的技术问题是如何更高效地对语料进行标注。

根据第一方面，一种实施例中提供一种语料标注系统，包括：用户终端和中央处理服务器，所述用户终端通过网络连接至中央处理服务器，所述中央处理服务器包括请求接收模块、语料上传模块、自动标注模块、自动检查模块和标注数据上传/下载模块；

所述请求接收模块用于接收来自于用户终端的请求，并将请求发送给语料上传模块；

所述语料上传模块用于接收来自于用户终端的语料标注请求，解析语料标注请求的任务内容，根据任务内容从预设数据库中调取语料上传界面，并向该用户终端返回语料上传界面；

所述自动标注模块用于接收来自于语料上传界面的待标注语料数据，将待标注语料数据存储在预设数据库中，并解析待标注语料数据中的内容，根据内容对待标注语料数据进行分类，得到待标注语料数据的类别，再根据待标注语料数据的类别，选取该类别对应的预先构建的预标注模型，将待标注语料数据输入至对应的预先构建的预标注模型中进行计算，得到预标注语料数据；

所述自动检查模块用于调取预先构建的知识图谱和数据字典，根据预先构建的知识图谱和数据字典利用差分变换算法，确定预标注语料数据中的风险点，并在预标注语料数据中对风险点进行标记和修正，将标记风险点的预标注语料数据发送至标注员终端；所述标注员终端用于对预标注语料数据中的风险点进行人工检测和修正，得到标注数据；

所述标注数据上传/下载模块用于接收来自于标注员终端的标注数据，将标注数据上传至分布式文件服务器，并提取标注数据中的相关特征，将相关特征上传至区块链中，基于相关特征在区块链中构建交易规则，所述相关特征用于标识标注数据、衡量标注数据的工作量以及表示标注数据的标注质量。

进一步地，所述中央处理服务器还包括支付模块，其用于接收来自于用户终端的支付/采购请求，从区块链中查找预先构建的交易规则，基于标注数据按照预先构建的交易规则确定支付费用，并将支付费用返回给用户终端，若接收到支付费用，则从分布式文件服务器上调取标注数据并发送给用户终端。

进一步地，所述语料标注请求的任务内容包括对语料进行切分、对语料进行词性标注、对语料进行依赖关系标注、对语料进行实体标注、对语料进行关系标注、对语料进行事件标注、对语料进行阅读理解标注和对语料进行问答标注中的至少一个。