[发明专利]一种提高大数据队列处理效率的方法和系统

说明书

本发明公开了一种提高大数据队列处理效率的方法和系统，该方法包括：S101、数据保存于前端数据库；S102、监听所述前端数据库是否获得新数据，若否，则返回S102；S103、将所述新数据与原有数据进行比较，判断是否重复，若是则转向S102；S104、将原有数据从所述前端数据库转移至备份数据库；S105、将所述新数据进行推送，并对所述推送的数据进行计数，返回S102。本发明技术方案采用卡夫卡队列来建立数据库，对大数据进行高效的存储和提取，提高了数据库推送大数据的效率，简化了技术方案的复杂程度，节约了整体技术方案的成本，提高了数据库检索的综合效率，适应了互联网技术和市场快速发展的需求。

技术领域

本发明涉及互联网技术领域，特别涉及一种提高大数据队列处理效率的方法和系统。

背景技术

互联网发展迅速，已成为人们生活的重要组成部分和人类文明传播发展的重要载体，渗透到经济、政治、文化、社会生活各个方面，改变着人们的交往方式和思维方式。无论是在工业领域或者是在社会生活领域，互联网给人的改变是巨大的。

互联网成为大量信息的载体，文字、图片、数据库、音频、视频多媒体等不同类型数据大量出现于网络，再加以各式各样的网页设计，人类进入了信息爆炸的时代。互联网信息呈现了数据巨大、内容广泛、形式多样、增长迅速的特点。截至2015年12月，中国网页数量为2123亿个，年增长11.8％；其中，静态网页数量为1314亿，占网页总数量的61.9％，动态网页数量为808亿，占网页总量的38.1％。随着个人博客、自媒体的发展，以及互联网媒体的快速发展，互联网页的数量将会以几何级速的增长。

作为互联网数据记录的核心，数据库的应用也渗透到社会的各个方面，得到广泛的发展和应用。数据库是按照一定的结构和规则组织起来的相关数据的集合，是从全局观点出发建立的，按一定的数据模型进行组织、描述和存储。其结构基于数据间的自然联系，从而可提供一切必要的存取路径，且数据不再针对某一应用，而是面向全组织，具有整体的结构化特征。

数据库用于数据的存储和处理，存储的是属于企业、事业部门、团体和个人的有关数据的集合，是一个单位或是一个应用领域的通用数据处理系统。数据库中的数据是为众多用户所共享其信息而建立的，已经摆脱了具体程序的限制和制约。不同的用户可以按各自的用法使用数据库中的数据；多个用户可以同时共享数据库中的数据资源，即不同的用户可以同时存取数据库中的同一个数据。数据共享性不仅满足了各用户对信息内容的要求，同时也满足了各用户之间信息通信的要求。

数据库是重要的电子资源，是适应互联网发展的信息技术，具有以下特点：

1)、数据的结构化数据库中的数据并不是杂乱无章、毫不相干的，它们具有一定的组织结构，属于同一集合的数据具有相似的特征。

2)、数据具共享性。在一个单位的各个部门之间，存在着大量的重复信息。使用数据库的目的就是要统一管理这些信息，减少冗余度，使各个部门共同享有相同的数据。

3)、数据的独立性。数据的独立性是指数据记录和数据管理软件之间的独立。数据及其结构应具有独立性，而不应该去改变应用程序。

4)、数据的完整性。数据的完整性是指保证数据库中数据的正确性。可能造成数据不正确的原因很多，数据库管理系统通过对数据性质进行检查而管理它们。

5)、数据的灵活性。数据库管理系统不是把数据简单堆积，它在记录数据信息的基础上具有很多的管理功能，如输入、输出、查询、编辑修改等。

6)、数据的安全性。根据用户的职责，不同级别的人对数据库具有不同的权限，数据库管理系统能够确保数据的安全性。