[发明专利]一种提高大数据队列处理效率的方法和系统在审
| 申请号： | 201611104768.9 | 申请日： | 2016-12-05 |
| 公开（公告）号： | CN108153771A | 公开（公告）日： | 2018-06-12 |
| 发明（设计）人： | 陈辉 | 申请（专利权）人： | 天脉聚源（北京）科技有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 100007 北京市东*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 大数据 前端数据库 新数据 推送 队列处理 原有数据 备份数据库 互联网技术 建立数据库 数据库检索 数据保存 整体技术 综合效率 返回 监听 队列 数据库 存储 节约 重复 | ||
1.一种提高大数据队列处理效率的方法，其特征在于，包括以下步骤：
S101、数据保存于前端数据库；
S102、监听所述前端数据库是否获得新数据，若否，则返回S102；
S103、将所述新数据与原有数据进行比较，判断是否重复，若是则转向S102；
S104、将原有数据从所述前端数据库转移至备份数据库；
S105、将所述新数据进行推送，并对所述推送的数据进行计数，返回S102。
2.根据权利要求1所述的方法，其特征在于，基于卡夫卡队列建立所述前端数据库和备份数据库。
3.根据权利要求1或2所述的方法，其特征在于，数据以队列的形式进行存储。
4.根据权利要求1所述的方法，其特征在于，在步骤S104中，所述原有数据从所述前端数据库转移至备份数据库后，所述前端数据库仅保留所述新数据。
5.根据权利要求1所述的方法，其特征在于，在步骤S105中，根据所述计数来判断所述新数据是否全部推送完成。
6.一种提高大数据队列处理效率的系统，其特征在于，包括管理单元、前端数据库、备份数据库和应用端，其中：
管理单元用于比较数据、判断数据是否重复，以及管理数据的转移存储；
前端数据库用于存储和更新数据，推送数据并对推送进行计数；
备份数据库用于存储和更新数据；
应用端用于接收数据。
7.根据权利要求6所述的系统，其特征在于，基于卡夫卡队列建立所述前端数据库和备份数据库。
8.根据权利要求6所述的系统，其特征在于，所述管理单元将新数据保存于所述前端数据库，将原有数据转移存储于所述备份数据库。
9.根据权利要求6所述的系统，其特征在于，所述前端数据库根据所述计数来判断是否完成数据的推送。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于天脉聚源（北京）科技有限公司，未经天脉聚源（北京）科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201611104768.9/1.html，转载请声明来源钻瓜专利网。
- 上一篇：一种搜索引擎加速的方法和系统
- 下一篇：一种免密码登录网页的方法和系统
