[发明专利]基于spark的金融资讯词袋模型增量更新方法及系统

说明书

本发明提出了一种基于spark的金融资讯词袋模型增量更新方法及系统，该方法包括：采集历史金融资讯数据；根据历史金融资讯数据，利用spark计算引擎的弹性分布式数据集合构建词袋模型计算算子，生成初始词袋模型；将词袋模型信息持久化到数据库；通过kafka实时接入增量金融资讯，检测增量金融资讯中包含的词语，获取词袋模型中未记载的词语；判断未记载的词语是否具有词语释义，若具有词语释义，判定为原创新词；根据原创新词，更新数据库中的词袋模型信息；根据更新后的词袋模型，利用spark‑steaming组件计算增量金融资讯的词频及IDF值，得到资讯向量化数据，减少资讯量化误差，提高业务效果。

技术领域

本发明涉及数据处理技术领域，尤指一种基于spark的金融资讯词袋模型增量更新方法及系统。

背景技术

在现有技术中，基于TF-IDF算法的金融资讯词袋模型往往通过线下周期性批量计算，在计算完成后将批量计算好的词袋模型部署到线上，供金融资讯向量化使用，在该过程中，词袋模型只能周期性的进行更新，无法做到实时增量更新。

由于只能周期性的更新词袋模型，一些能够强烈表现文本特征的新词在资讯向量化过程被摒弃，导致资讯向量化误差过大，降低下游算法应用的准确度，影响业务体验；词袋模型更新过程中，往往需要应用停机，应用停机往往会产生额外的风险，整体风险大；随着资讯数据的日益增多，周期性地计算全量资讯数据所需要的计算资源也在增加，导致成本过大。

因此，亟需一种可以克服上述问题的更新金融资讯词袋模型的技术方案。

发明内容

为克服现有技术存在的问题，本发明提出了一种基于spark的金融资讯词袋模型增量更新方法及系统，该方法及系统可以实现初始词袋模型计算操作、词袋模型持久化操作、资讯新词检测操作、词袋模型更新操作及增量资讯向量化操作，其中通过资讯新词检测操作、词袋模型更新操作、增量资讯向量化操作的配合使用保证了实时检测增量资讯包含的原创新词，对词袋模型进行更新，实时的完成金融资讯向量化处理且不会损失信息。

在本发明实施例的第一方面，提出了一种基于spark的金融资讯词袋模型增量更新方法，该方法包括：

采集历史金融资讯数据；

根据所述历史金融资讯数据，利用spark计算引擎的弹性分布式数据集合构建词袋模型计算算子，生成初始词袋模型；

将所述初始词袋模型中的词袋模型信息持久化到数据库；

通过kafka实时接入增量金融资讯，检测所述增量金融资讯中包含的词语，获取词袋模型中未记载的词语；

判断所述未记载的词语是否具有词语释义，若具有词语释义，判定为原创新词；

根据所述原创新词，更新所述数据库中的词袋模型信息；

根据更新后的词袋模型，利用spark-steaming组件计算所述增量金融资讯的词频及IDF值，对所述增量金融资讯进行向量化处理得到资讯向量化数据。

在本发明实施例的第二方面，提出了一种基于spark的金融资讯词袋模型增量更新系统，该系统包括：

数据采集模块，用于采集历史金融资讯数据；

初始词袋模型生成模块，用于根据所述历史金融资讯数据，利用spark计算引擎的弹性分布式数据集合构建词袋模型计算算子，生成初始词袋模型；

持久化模块，用于将所述初始词袋模型中的词袋模型信息持久化到数据库；

新词检测模块，用于通过kafka实时接入增量金融资讯，检测所述增量金融资讯中包含的词语，获取词袋模型中未记载的词语；

新词判断模块，用于判断所述未记载的词语是否具有词语释义，若具有词语释义，判定为原创新词；