[发明专利]一种基于金融资讯的数据分类处理方法

说明书

技术领域

本发明涉大数据的分类处理，特别涉及一种基于金融资讯的数据分类处 理方法。

背景技术

随着金融市场的不断深化发展，一方面金融资讯的范围和数量快速增 长，另一方面用户对金融资讯的精准检索提出更高要求，如何对海量金融资 讯快速且相对准确的建立索引就成为一个迫切要解决的问题。目前国内常见 的资讯数据方式有两种，一种是一个独立程序将资讯抓取对应到指定分类， 另一种是人工判断指定资讯分类。前者的优点是效率高，缺点是分类较粗、 不支持多纬度分类；后者的优点是分类精准支持多纬度交叉分类，缺点是效 率低。

随着需处理的金融资讯成倍增长，资讯需做精准分类应用，传统的资讯 处理方式面临这样一个困境：程序自动处理可满足效率但资讯分类精准性降 低，人工处理可满足资讯精准性要求但需要大量人员。如何快速、准确对获 取的金融资讯进行分类，是金融资讯数据自动分类的重要问题。面对大量获 取的金融资讯数据，传统的手工分类已经无满足大数据量的需求。

发明内容

本发明要解决的技术问题是，对金融资讯数据进行自动分类，能较好满 足精准性且提高资讯处理效率。

解决上述技术问题，本发明提供了一种基于金融资讯的数据分类处理方 法，包括，

抓取得到金融资讯中的正文，并对正文进行解析得到分词；

根据解析结果获取分词的出现频率，并按照设定的频率获取出现频率高 的分词，

将所述出现频率高的分词作为关键词进行检索，得到的检索结果按照分 类编码进行匹配，使关键词按照分类编码对应分类。

更进一步，将所述抓取得到的正文进行解析得到分词的方法为：

预处理为：将正文中所包含的字符串去掉标签后只保留正文，若所述正 文中包含HTML标签或英文字符，则不对所述HTML标签或者英文字符进 行解析；

然后将所述正文进行切分形成句子，

其次对切分后剩下的正文中再依次从这段正文中再切分出一个句子，并 对这个句子再进行切分，

最后对所述步骤进行遍历，直到将整个句子切分成单独的子单元。

更进一步，所述高频率分词根据分词解析的结果构建词频管理库，

若出现的分词频率大于设定值时，则将该分词定义为高频率分词，若出 现的分词频率小于设定值时，则丢弃该分词。

更进一步，所述分词按照如下方式进行维度分类，“关键词”、“地域”、 “基金/债券”、“相关人物”、“相关机构”、“相关行业”、“相关概念”、“相关 公司”。

更进一步，根据所述分类编码进行匹配的方法为，根据高频率分词的排 列顺序依次在分类1支撑表、分类2支撑表、分类3支撑表…分类N支撑表 中，进行名称精确匹配，当所述分词名称精确匹配到了一条记录后，返回对 应的分类编码。

更进一步，所述金融资讯中的正文包括：文本和HTML标签。

更进一步，所述关键词按照如下维度进行划分：休裁类、分类扩展类、 专题/会议类、描述性以及公告事件类。

更进一步，所述分类编码按照以下规则分为：元数据ID代码、其他ID 代码、证券代码、机构及公司代码、自然人代码、基础实体代码、资讯实体 代码、指标代码。

更进一步，将所述关键词按照分类编码对应分类后，建立金融资讯与分 类编码的自动关联，可以基于多个关联表，用于关联新闻相关分类信息。

更进一步，使用网络爬虫将所述金融资讯抓取进入数据库，建立金融资 讯正文的分词数据库，所述网络爬虫包括，Larbin、Nutch、Heritrix、 WebSPHINX、Mercator、PolyBot。

本发明的有益效果：

1)通过对正文进行解析得到分词，实现各维度分类词频管理。

2)通过将所述出现频率高的分词作为关键词进行检索，得到的检索结 果按照分类编码进行匹配，使得分词与支撑数据的关联关系建立，从而达到 较好的资讯精准应用。

3)采用本发明的基于金融资讯的数据分类处理方法可实现自动关联、 自动入库及相关处理，提高了对金融资讯的处理效率。

附图说明

图1是本发明一实施例中的基于金融资讯的数据分类处理方法具体实施 方式示意图。

图2图1中解析方法示意图。

图3是图1中预处理步骤示意图。