[发明专利]数据采集及解析方法及系统

说明书

技术领域

本发明涉及终端上报的行为数据的日常采集及解析，特别涉及在Java技术基础上，构建大规模数据的采集及解析。

背景技术

随着智能家电的普及，如何分析用户终端的各项数据，挖掘用户的隐形需求，为用户提供更加丰富、友好的服务，成为各大家电厂商研究的重要方向。基于这些要求，对终端数据的采集和解析，为后续的大数据处理工作提供数据支撑，成为了一项重要的基础工作。

Java技术广泛应用于各大系统平台的软件开发，利用Java技术开发web程序进行数据采集、数据解析，可以跨平台移植，方便进行大规模部署、更新、升级。传统的数据采集、解析方法包括两种：一、数据的实时采集、解析；二、数据的延时采集、解析。实时的数据采集、解析方法由一套web程序提供采集、解析功能，即在数据上报的第一时间触发采集、解析程序，采集到的数据立刻进行解析、存储；延时的数据采集、解析方法的则由采集程序和解析程序构成，采集程序先将终端上报的数据写入到服务器的本地磁盘空间，解析程序扫描本地数据文件，读取数据进行解析处理、存储。

发明内容

本发明所要解决的技术问题，就是提供一种数据采集及解析方法及系统以实现更加快速、可靠的数据采集及解析。

本发明解决所述技术问题，采用的技术方案是，数据采集及解析方法，包括：终端上报数据时，系统采集上报数据，根据预设周期存储至本地磁盘；系统对本地磁盘存储的上报数据进行多线程扫描解析，并将解析数据存储至kafka。

具体的，终端通过post方式上报数据。

具体的，系统采集上报数据，将其转换为String格式的字符串，并将字符串保存在列表中，根据预设周期将列表中的数据写入到本地磁盘。

具体的，系统对本地磁盘存储数据进行多线程扫描解析，每个线程中，系统将String类型的字符串数据转换为json格式的数据，获取各字段值，并对各字段值进行解析。

进一步的，所述对各字段值进行解析包括：获取designation字段值判断解密类型，调用解密程序进行数据解密，得到解密数据；获取ip字段值，调用IP解析程序对IP进行解析，得到IP地址信息及时间信息。

进一步的，系统将解密数据、IP地址信息及时间信息组合成json格式的数据存入kafka，所述kafka存储节点至少为一个。

数据采集及解析系统，包括数据采集接口、本地磁盘、数据解析模块及kafka存储节点；所述数据采集接口与本地磁盘连接，本地磁盘与数据解析模块连接，数据解析模块与kafka存储节点连接；

所述数据采集接口，用于终端上报数据时，采集上报数据，并根据预设周期将上报数据存储至本地磁盘；

所述数据解析模块，用于对本地磁盘存储的上报数据进行多线程扫描解析，并将解析数据存储至kafka。

具体的，终端通过post方式上报数据至数据采集接口。

具体的，数据采集接口采集上报数据，将其转换为String格式的字符串，并将字符串保存在列表中，根据预设周期将列表中的数据写入到本地磁盘。

具体的，数据解析模块对本地磁盘存储的上报数据进行多线程扫描解析，每个线程中，系统将String类型的字符串数据转换为json格式的数据，获取各字段值，并对各字段值进行解析。

进一步的，所述对各字段值进行解析包括：获取designation字段值判断解密类型，调用解密程序进行数据解密，得到解密数据；获取ip字段值，调用IP解析程序对IP进行解析，得到IP地址信息及时间信息。

进一步的，系统将解密数据、IP地址信息及时间信息组合成json格式的数据存入kafka，所述kafka存储节点至少为一个。

本发明的有益效果是：由于数据解析主程序或调用的解密程序、IP解析程序的升级及维护不会影响到数据采集工作的正常进行，所以不会造成数据丢失，保证了采集数据的完整性；快速、可靠的实现对终端上传数据的采集和解析。

附图说明

图1为本发明数据采集及解析方法及系统实施例的流程图。

以下结合实施例的具体实施方式，对本发明的上述内容再作进一步的详细说明。但不应将此理解为本发明上述主题的范围仅限于以下的实例。在不脱离本发明上述技术思想情况下，根据本领域普通技术知识和惯用手段做出的各种替换或变更，均应包括在本发明的范围内。

具体实施方式

下面结合附图及实施例详细描述本发明的技术方案：