[发明专利]个股识别的方法及装置

权利要求书

1.一种个股识别方法，其特征在于，包括以下步骤：

步骤S100：模型训练：通过人工对个股库和语料文本进行预处理，根据所述语料文本中是否含有歧义个股，将相应的所述语料文本分别存储至用于存放不包含歧义个股信息文本的非歧义目录“1”或用于存放包含歧义个股信息文本的歧义目录“0”的相应个股子目录下，得到标注语料集目录label，对所述标注语料集目录label进行分词和词性标注后，得到待标注词列表，遍历所述待标注词列表中的所有词，对每个词“是否存在于个股库中，并且该词对应文本是否保存于label的非歧义目录“1”中”进行标注，输出用于CRF模型训练的训练语料库，采用所述训练语料库对CRF模型进行训练，得到个股识别CRF模型；

步骤S200：个股识别：对待处理文本进行分词标注词性得到词性分词列表termList，通过所述个股识别CRF模型对所述词性分词列表termList中的名词是否是个股进行识别，如果所述词性分词列表termList中的当前词为个股，则赋值为1，如果不是个股则赋值为0，所得结果列于标注结果列表stockList中。

2.根据权利要求1所述的个股识别方法，其特征在于，所述标注词性步骤后还包括过滤步骤，将除名词以外的其他词性的词过滤除去。

3.根据权利要求2所述的个股识别方法，其特征在于，所述非歧义目录“1”和所述歧义目录“0”下的文本数量比例近似等于1：1。

4.根据权利要求3所述的个股识别方法，其特征在于，所述预处理步骤包括以下步骤：

步骤S110：将所述个股库中的个股名称人工分为存在歧义的歧义个股和不存在歧义的非歧义个股；

步骤S120：通过人工筛选过滤去除所述语料文本中所含的：a、包含多个歧义个股的文本；b、某一个股名称在该文本中既存在个股名称又存在该词的其他意义表示的文本；c、文本中不包含任何个股的文本。

5.根据权利要求4所述的个股识别方法，其特征在于，所述CRF模型特征值的取值对象为所述训练语料库中任一当前词A及所述当前词A之前三个词、所述当前词A之后三个词；所述对象的特征为每个词所对应的字符、词性和是否存在于个股库中。

6.根据权利要求4所述的个股识别方法，其特征在于，所述标注步骤包括以下步骤：

S130：检查所述待标注词列表中任一当前词A是否存在于所述个股库中，如果是则将该当前词A的第一赋值标注为1，如果所述当前词A不属于个股库，则将该当前词A的第一赋值记为0，遍历所述待标注词列表，得到第一标注词列表；

步骤S140：检查所述第一标注词列表中任一当前词A对应的文本是否储存在标注语料集目录label的非歧义目录“1”中，如果满足该条件则将该所述当前词A的第二赋值记为1，如果不满足则将所述当前词A的第二赋值标注为0，遍历所述第一标注词列表，标注完成得到所述训练语料库。

7.一种用于如权利要求1～6中任一项所述方法的个股识别装置，其特征在于，包括：

模型训练模块，用于通过人工对个股库和语料文本进行预处理，根据所述语料文本中是否含有歧义个股，将相应的所述语料文本分别存储至用于存放不包含歧义个股信息文本的非歧义目录“1”或用于存放包含歧义个股信息文本的歧义目录“0”的相应个股子目录下，得到标注语料集目录label，对所述标注语料集目录label进行分词和词性标注后，得到待标注词列表，遍历所述待标注词列表中的所有词，对每个词“是否存在于个股库中，并且该词对应文本是否保存于label的非歧义目录“1”中”进行标注，输出用于CRF模型训练的训练语料库，采用所述训练语料库对CRF模型进行训练，得到个股识别CRF模型；

个股识别模块，用于对待处理文本进行分词标注词性得到词性分词列表termList，通过所述个股识别CRF模型对所述词性分词列表termList中的名词是否个股进行识别，如果所述词性分词列表termList中的当前词为个股，则赋值为1，如果不是个股则赋值为0，所得结果列于标注结果列表stockList中。