[发明专利]个股和文章关联度的计算方法及其系统

说明书

技术领域

本发明涉及实体与海量文章的关联分析，尤其涉及个股实体与文章的关联分析方法及其系统。

背景技术

当前对于个股相关资讯的获取主要通过搜索引擎工具检索，这种方法存在以下缺点：

1、噪音大：广告推广链接多，一般情况下广告的搜索结果都是排在靠前位置；语义错误，搜索引擎主要根据关键字获取搜索结果，不是语义层次的，当有歧义时，有很多不准确的结果。

2、度高：对于热点新闻资讯，各大网站都会有报导；很多情况下标题和内容都是一模一样的，但是搜索引擎不会帮你去除重复。

3、缺少关键指标：搜索引擎的结果一般只能说明文章中含有你搜索的关键字(这里是个股)，并没有说明个股与文章的关联度有多大，情感信息(是利好还是利空)，投资者还需要发大量时间和精力取阅读分析才能做出投资决策。

4、没有时间轨迹：搜索引擎没有时间维度，对于投资者关注的股票，只是能获取当前的文章，不能查阅历史热度，不利于投资者的决策选择。

发明内容

针对现有技术存在的缺陷，本发明提出一种个股和文章关联度的计算方法及其系统。通过每天获取海量财经新闻语料，进行文本数据挖掘，分析出个股与文章的关联度，构建个股相关文章列表和历史热度；使投资者能在统一的入口检索其关注的股票的市场行情资讯，并提供与文章的关联度、情感和股票的历史热度指标供查阅，成为投资者个股行情资讯的检索利器。

本发明的技术方案是：

一种个股和文章关联度的计算方法，包括以下步骤：

S1.数据获取

实时的从互联网上爬取获取财经类新闻作为语料并存档入库；

S2.关联度分析

分析实时获取的语料中的个股与文章的关联关系，计算关联度；

S3.热度分析

按日汇总个股与文章的关联度即个股的热度；

S4.情感分析

分析实时获取的语料中的个股情感；

S5.数据存储

将关联度分析、热度分析和情感分析的结果存入mysql数据库中；

S6.数据检索

通过WebService对终端用户提供查询接口，用户输入个股信息，返回个股关联的文章及关联度、个股情感和个股热度信息；

本发明，所述步骤S2中关联度的计算方法为：

S2.1获取语料并区分标题和内容，分词并计算各个词的提及数，这里分词可使用的分词算法有：正向最大匹配分词，反向最大匹配分词，双向最大匹配分词，N-最短路分词，隐马尔科夫模型(HMM)分词，CRF分词等；

S2.2对于个股A和新闻N，其关联度计算如下：

S2.2.1记个股A的代码、同义词、简称、全称在新闻N的标题和内容中出现的次数分别为nat_id、nat_syn、nat_short、nat_long和nct_id、nct_syn、nct_short、nct_long；记股票关键字字典为Stocks；记需要股票代码和简称一块出现的个股字典为codeAndName；

S2.2.2计算个股A和标题的关联度assetTitleRel：

1)如果标题中没有包含股票关键字字典Stocks中的词，并且个股简称和代码没有同时在标题中出现，则assetTitleRel＝(nat_syn+nat_long)*2；

2)如果标题中没有包含股票关键字字典Stocks中的词，并且个股简称和代码同时在标题中出现，assetTitleRel＝(nat_syn+nat_long+nat_id+nat_short)*2；

3)如果标题中包含股票关键字字典Stocks中的词，并且个股A不在codeAndName中，则assetTitleRel＝(nat_syn+nat_long+nat_short)*2；

4)如果标题中包含股票关键字字典Stocks中的词，并且个股A在codeAndName中，同时个股简称和代码没有同时在标题中出现，则assetTitleRel＝(nat_syn+nat_long)*2；

5)如果标题中包含股票关键字字典Stocks中的词，并且个股A在codeAndName中，同时个股简称和代码同时在标题中出现，则assetTitleRel＝(nat_syn+nat_long+nat_id+nat_short)*2；

S2.2.3计算个股A和内容的关联度assetContentRel：