[发明专利]一种处理大数据的方法及系统

摘要

本发明公开了一种处理大数据的方法及系统，包括以下步骤步骤S101通过实时数据采集模块采集交通的视频、图像信息，利用Hadoop分布式模式，对实时数据采集模块采集到的数据进行过滤，得到的完整且不重复的数据；步骤S102前端采集的图像数据，通过交换机统一接口，将图像数据传入到负责存储的图片服务器；步骤S103前端采集的视频数据，通过交换机统一接口，将视频数据传入到负责存储的视频服务器；步骤S104将图片服务器、视频服务器接收到的数据分别存入到对应的数据库中，客户端通过网络去访问数据库的信息，进行检索操作。本发明通过对不同类型的数据进行分类，把图片单独存储，解决服务器的IO瓶颈，减轻服务器写操作的压力。

主权项

一种处理大数据的方法，其特征在于，包括以下步骤：步骤S101：通过实时数据采集模块（17）采集交通的视频、图像信息，利用Hadoop分布式模式，对实时数据采集模块（17）采集到的数据进行过滤，得到的完整且不重复的数据；步骤S102：前端采集的图像数据，通过交换机（11）统一接口，将图像数据传入到负责存储的图片服务器（15）；步骤S103：前端采集的视频数据，通过交换机（11）统一接口，将视频数据传入到负责存储的视频服务器（14）；步骤S104：将图片服务器（15）、视频服务器（14）接收到的数据分别存入到对应的数据库中，客户端（10）通过网络去访问数据库的信息，进行检索操作；步骤S105：实时获取数据处理的结果，并将处理失败的数据放入到重试数据队列中。