[发明专利]一种文本类别的自动标注方法及系统

说明书

本发明公开了一种文本类别的自动标注方法，该方法包括采集各个语种的文本以建立多语种文本类别数据库；基于多语种文本类别数据库获得相关词数据，对相关词数据进行训练生成多语种文本分类模型；检索多语种文本类别数据库，判断待标注文本是否与多语种文本类别数据库中的数据匹配，若是，则将该待标注文本作为候选文本；基于多语种文本分类模型识别候选文本的类别，将候选文本的类别作为待标注文本的类别并标注到待标注文本上；其中，相关词数据是通过对多语种文本类别数据库中的数据按语种和类别进行标注得到的。本发明还公开了一种文本类别的自动标注系统。通过本发明的这种自动标注方法可以快速处理大量的文本数据。

技术领域

本发明属于涉及文本处理技术领域，尤其涉及一种文本类别的自动标注方法及系统。

背景技术

对于互联网的大量文本数据来说，经常有广告、垃圾邮件等内容干扰我们的生活，需要准确快速地处理互联网的这些大量文本数据。

现有技术中的一种判断文本类别的方法是将传统主题模型的主题根据功能分成“类别主题”和“普通主题”；构造伪文本集，并以伪文本集作为模型的训练集对SSCF进行训练。训练结束后计算两类主题各自的词分布，并根据短文本中每个词在不同主题下的分布计算得到该短文本的关联主题，进而判断该短文本是否为无关文本，若有关，得到其所属类别。

然而该现有技术方法存在的技术问题是：

该方法采用滑动窗口扫描短文本，处理的速度比较慢；该方法只能处理英文的单词，不能处理中文的文本分类；该方法只能根据类别相关单词进行文本过滤，不能根据IP地址和手机号等进行文本分析。

发明内容

有鉴于此，本发明实施例提供一种文本类别的自动标注方法及系统，用以准确地判断文本的类别并自动进行标注。

第一方面，本发明实施例提供了一种文本类别的自动标注方法，该方法包括以下步骤：

采集各个语种的文本以建立多语种文本类别数据库；

基于所述多语种文本类别数据库获得相关词数据，对所述相关词数据进行训练生成多语种文本分类模型；

检索所述多语种文本类别数据库，判断待标注文本是否与所述多语种文本类别数据库中的数据匹配，若是，则将该待标注文本作为候选文本；

基于所述多语种文本分类模型识别所述候选文本的类别，将所述候选文本的类别作为待标注文本的类别并标注到所述待标注文本上；

其中，所述相关词数据是通过对所述多语种文本类别数据库中的数据按语种和类别进行标注得到的。

第二方面，本发明实施例提供了一种文本类别的自动标注系统，该系统包括采集模块、训练模块、匹配模块和判断模块；

所述采集模块用于采集各个语种的文本以建立多语种文本类别数据库；

所述训练模块基于所述多语种文本类别数据库获得相关词数据，对所述相关词数据进行训练生成多语种文本分类模型；

所述匹配模块检索所述多语种文本类别数据库，判断待标注文本是否与所述多语种文本类别数据库中的数据匹配，若是，则将该待标注文本作为候选文本；

所述判断模块基于所述多语种文本分类模型识别所述候选文本的类别，将所述候选文本的类别作为待标注文本的类别并标注到所述待标注文本上；

其中，所述相关词数据是通过对所述多语种文本类别数据库中的数据按语种或类别进行标注得到的。