[发明专利]文本分类方法及获得的文本分类器

摘要

本发明技术方案公开了一种获得用于自动标注语料的文本分类器方法及文本分类器，该方法包括确定概念集合，用每个概念对应的概念关键词集合中的概念关键词对未标注语料文本进行匹配并自动标注处理；对于每个概念，当该概念对应的标注语料文本集合中文本数量符合阈值条件时，则对该概念进行训练相对应的文本分类模型，得到对应的文本分类器，最终获得所有文本数量符合阈值条件的与该概念对应的文本分类器集合。本发明的方法提供一种算法结构，具有普适性，可灵活地改变分类体系，节约了计算时间和资源，并且本发明提供少量的初始语料文本即可，且自动标注，无需人工标注，进一步节约时间和成本。

主权项

一种获得用于自动标注语料的文本分类器的方法，其特征在于，该方法包括：概念确定步骤Ⅰ，确定概念集合，概念集合中的每个概念对应具有至少一个概念关键词的概念关键词集合；其中，确定概念集合X由概念xi组成，其中i＝1，2，3，…n，概念集合X中的每个概念xi对应具有至少一个概念关键词组成的概念关键词集合Yi；语料自动标注步骤Ⅱ，利用概念集合中每个概念对应的概念关键词集合中的概念关键词对未标注语料文本集合进行匹配处理，并用相应的概念对未标注语料文本集合中的文本进行关联与自动标注处理，获得标注语料文本集合；其中，语料自动标注步骤Ⅱ包括：步骤Ⅱ1，根据具体实际应用情况收集足够数量N的未标注语料，记未标注语料文本集合为D＝{dj}，其中j＝1，2，…，N；步骤Ⅱ2，利用每个概念xi对应的概念关键词集合Yi中的概念关键词对未标注语料文本集合D中的每篇文本分别进行匹配处理，当未标注语料文本集合D中的某一篇文本dj与概念xi对应的概念关键词的匹配情况满足匹配条件时，则将该篇文本dj标注为与该概念xi相关联；对未标注语料文本集合D中每篇文本进行匹配处理得到标注语料文本集合C；分类模型训练步骤Ⅲ，对于概念集合中的每个概念，当与该概念关联的标注语料文本集合中文本数量符合阈值条件时，则将与该概念关联的标注语料文本集合作为文本分类模型的正例，不与该概念关联的标注语料文本集合作为文本分类模型的负例，对该概念对应的文本分类模型的正例和负例进行训练，得到该概念对应的文本分类器，最终获得所有文本数量符合阈值条件的概念对应的文本分类器；其中，分类模型训练步骤Ⅲ包括：步骤Ⅲ1，将概念集合X划分为两个互为补集的概念子集合XA和概念子集合XB，划分原则是，若标注语料文本集合C中与概念xi相关联的标注语料文本数量大于或等于阈值α时，则将该概念xi划分入概念子集合XA中，与该概念xi相关联的标注语料文本集合记为Ai；若小于阈值α时，则将该概念xi划分入概念子集合XB中；步骤Ⅲ2，将概念子集合XA中的概念xi对应的标注语料文本集合Ai作为训练分类模型的正例，从标注语料文本集合C中随机抽出k篇不属于标注语料文本集合Ai中的文本记为标注语料文本集合Ai'，作为训练分类模型的负例；步骤Ⅲ3，采用朴素贝叶斯、支持向量机或逻辑回归的文本分类模型对标注语料文本集合Ai和Ai'训练概念xi对应的文本分类器，记为mi；训练出的概念子集合XA中的每个概念xi对应的文本分类器集合记为M0；步骤Ⅲ4，利用文本分类器集合M0中的分别与每个概念xi对应的文本分类器mi对未标注语料文本集合D中的文本进行分类处理即关联与标注处理，得到相应的文本分类结果，该文本分类结果单独存放；步骤Ⅲ5，对于概念子集合XA中的每个概念xi，用文本分类器mi计算文本对应到概念xi的概率，从文本分类结果中选出对应到概念xi的概率大于阈值β的文本，将其加入到概念xi对应的标注语料文本集合Ai中，形成新的标注语料集合Ai；步骤Ⅲ6，对于新的标注语料集合Ai，重复步骤Ⅲ2～Ⅲ5 2～10次，得到符合要求的概念xi对应的文本分类器mi，从而获得最终符合要求的文本分类器集合M；或对于新的标注语料集合Ai，人工匹配评估获得符合要求的概念xi对应的文本分类器mi，从而得到最终符合要求的文本分类器集合M；步骤Ⅲ6中，人工匹配评估是指对于概念xi，从标注语料集合Ai中随机抽取若干篇文本，再从标注语料文本集合C中随机抽取若干篇不与该概念xi关联的文本，对抽取的所有文本K重新进行人工标注，得到标准分类结果；在步骤Ⅲ3每次训练出文本分类器mi后，用文本分类器mi对抽取的所有文本K另行进行分类处理得到临时分类结果，即使用概念xi对应的文本分类器mi计算所有文本K中的每篇文本关联到概念xi的概率，若概率大于阈值β，则将该文本标注为与概念xi关联的文本；将临时分类结果和标准分类结果进行比较，计算临时分类结果的准确率，当准确率大于或等于阈值γ时，则该文本分类器mi为符合要求的文本分类器；当准确率低于阈值γ时，则重新进行概念确定步骤Ⅰ，即重新确定概念xi对应的至少一个新的概念关键词，形成新的概念关键词集合Yi，和/或，重新确定步骤Ⅱ2的匹配条件；当有重新进行概念确定步骤Ⅰ时，根据新的概念关键词集合Yi进行步骤Ⅱ2获得新的标注语料文本集合C；将标注语料文本集合C进行步骤Ⅲ1获得新的概念子集合XA和新的概念子集合XB；对新的概念子集合XA和新的概念子集合XB继续进行步骤Ⅲ2～Ⅲ6，直至当文本分类器mi临时分类结果的准确率大于或等于阈值γ，则该文本分类器mi为符合要求的文本分类器；当仅仅有重新确定步骤Ⅱ2的匹配条件时，从步骤Ⅱ2开始直至该文本分类器mi为符合要求的文本分类器为止。