[发明专利]个股识别的方法及装置

说明书

本发明提供一种个股识别的方法及装置，该方法基于人工分类好的语料文本，用其对进行模型训练，得到用于文本中是否含有个股进行标注的个股识别CRF模型，通过对文本分词结果使用个股标注模型进行标注从而将分词结果中包含的个股识别出来。

技术领域

本发明涉及爬词技术领域，具体的涉及一种个股识别的方法及装置。

背景技术

随着互联网的快速发展，信息的发布和传播变得越来越容易，产生了大量重复信息和垃圾信息，造成信息过载。于是有了各种各样的文本提取、分析以及挖掘的方法营运而生，帮助高效获取用户所关注的信息。例如在金融投资领域有帮助投资者分析热点板块、热门个股市场行情信息的相关方法。其中对于股票的分析首先需要解决的就是讲海量信息文本中所包含的个股识别出来的问题。目前常用方法一般是基于个股库(即在上证或深证上市的公司信息构建的数据库)对所需提取的文本进行信息识别的方法。常用方法有以下2种：

1)直接匹配个股库法

在待处理文本中直接查找某一待提取词是否存在于个股库的个股名称中，该过程，无法识别一词多义的情况，导致漏检情况的发生。

2)使用规则匹配

在利用个股库直接匹配的同时，人工定义提取规则(如与个股名称对应的待提取词周围是否有个股全称、个股代码出现；是否含有“上涨”、“利好”等与股票相关的词出现)。人工所制定的规则不但不能完全避免漏检的发生，还会导致造成文中的个股被识别为非个股。同时该方法也不具有泛化提取个股的能力。

由于中文博大精深，一词多义现象非常普遍，例如：“老百姓”可能在相关文本中对应于“老百姓大药房连锁股份有限公司”这个上市公司，也可能仅在文中指代具有该特征的具体人群。又例如“星期六”、“向日葵”、“农产品”等等词汇。在不同的文章或语境中指代的内容会存在很大差别。如果仅仅依据个股库对文本中所含个股进行识别，那么对于一些存在一词多义现象的个股，常会出现漏检或误检的情况，造成分析结果不准确的问题。

发明内容

本发明的目的在于提供一种个股识别的方法及装置，该发明解决了现有技术中难以避免对一词多义个股信息准确提取，常会造成个股信息提取出现漏检或误检的技术问题。

本发明的一方面提供一种个股识别方法，包括以下步骤：

步骤S100：模型训练：通过人工对个股库和语料文本进行预处理，根据语料文本中是否含有歧义个股，将相应的语料文本分别存储至用于存放不包含歧义个股信息文本的非歧义目录“1”或用于存放包含歧义个股信息文本的歧义目录“0”的相应个股子目录下，得到标注语料集目录label，对标注语料集目录label进行分词和词性标注后，得到待标注词列表，遍历待标注词列表中的所有词，对每个词“是否存在于个股库中该词对应文本是否保存于label的非歧义目录“1”中”进行标注，输出用于CRF模型训练的训练语料库，采用训练语料库对CRF模型进行训练，得到个股识别CRF模型；

步骤S200：个股识别：对待处理待处理文本进行分词标注词性得到词性分词列表termList，通过个股识别CRF模型对词性分词列表termList中的名词是否式个股进行识别，如果词性分词列表termList中的当前词为个股，则赋值为1，如果不是个股则赋值为0，所得结果列于标注结果列表stockList中。

进一步地，标注词性步骤后还包括过滤步骤，将除名词以外的其他词性的词过滤除去。

进一步地，非歧义目录“1”和歧义目录“0”下的文本数量比例近似等于1：1。

进一步地，预处理步骤包括以下步骤：

步骤S110：将个股库中的个股名称人工分为存在歧义的歧义个股和不存在歧义的非歧义个股；