[发明专利]基于spark的金融资讯词袋模型增量更新方法及系统有效
| 申请号： | 202010824560.4 | 申请日： | 2020-08-17 |
| 公开（公告）号： | CN111966702B | 公开（公告）日： | 2023-08-18 |
| 发明（设计）人： | 狄潇然 | 申请（专利权）人： | 中国银行股份有限公司 |
| 主分类号： | G06F16/23 | 分类号： | G06F16/23;G06F40/216;G06F40/289;G06N20/10 |
| 代理公司： | 北京三友知识产权代理有限公司 11127 | 代理人： | 谷敬丽;薛平 |
| 地址： | 100818 *** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提出了一种基于spark的金融资讯词袋模型增量更新方法及系统，该方法包括：采集历史金融资讯数据；根据历史金融资讯数据，利用spark计算引擎的弹性分布式数据集合构建词袋模型计算算子，生成初始词袋模型；将词袋模型信息持久化到数据库；通过kafka实时接入增量金融资讯，检测增量金融资讯中包含的词语，获取词袋模型中未记载的词语；判断未记载的词语是否具有词语释义，若具有词语释义，判定为原创新词；根据原创新词，更新数据库中的词袋模型信息；根据更新后的词袋模型，利用spark‑steaming组件计算增量金融资讯的词频及IDF值，得到资讯向量化数据，减少资讯量化误差，提高业务效果。 | ||
| 搜索关键词： | 基于 spark 金融 资讯 模型 增量 更新 方法 系统 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国银行股份有限公司，未经中国银行股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202010824560.4/，转载请声明来源钻瓜专利网。
- 上一篇：一种套管层次拓展的井身结构
- 下一篇：一种电梯用按钮消毒设备
