[发明专利]一种数据处理方法及系统

说明书

本发明公开了一种数据处理方法，所述方法包括：接收数据查询请求，所述数据查询请求中携带有待查询数据的数据特征信息；在状态机存储引擎中提取与所述数据特征信息匹配的状态机信息，所述状态机信息包括一个以上的数据源信息；根据所述状态机信息在特征数据库中提取与所述数据源信息匹配的第一特征数据；从所述第一特征数据中提取与所述数据特征信息匹配的第二特征数据，将所述第二特征数据进行发送。本发明还同时公开了一种数据处理装置。

技术领域

本发明涉及信息处理技术，具体涉及一种数据处理方法及装置。

背景技术

随着移动智能终端的普及，大数据时代的到来，针对用户操作体验的分析需求日益突出。而由于终端应用开发端开发的业务随着设计方案的不同，其数据存储格式也不同，每个应用均拥有各自的数据存储和访问方式，彼此之间相对独立，进而形成一个个“信息孤岛”。而数据共享可以使更多的人充分地使用已有的数据资源，减少资料收集、数据采集等重复劳动和相应费用。现有技术中，为了实现数据共享通常采用以下两种方式对数据进行处理：

1)采用烟囱式存储方式对多种数据存储格式的数据进行存储。即对每个数据存储格式的数据进行独立存储分析。具体如图2所示。

图2为现有技术中数据处理方法的流程示意图；如图2所示，应用200a包括数据采集单元201a、数据存储单元202a、数据提取单元203a和数据分发单元204a；应用200b包括数据采集单元201b、数据存储单元202b、数据提取单元203b和数据分发单元204b；应用200c包括数据采集单元201c、数据存储单元202c、数据提取单元203c和数据分发单元204c；由此可知，现有技术中各应用均是独立进行数据存储、数据提取和数据分发的，彼此之间互不关联。而采用这种数据处理方式无法对多种数据存储格式的数据实现归一化存储及提取，也无法满足当前用户的按需提取分析大数据的需求。

2)将不同数据存储格式的数据进行统一格式转换后，进行数据存储分析。具体如图3所示。

图3为现有技术中另一种数据处理方法的流程示意图；如图3所示，采集单元301a、采集单元301b、采集单元301c分别对应用300a、应用300b和应用300c中的数据进行采集，然后经格式转换单元302对所述集单元301a、采集单元301b、采集单元301c采集到的数据进行数据存储格式转换，具体地，将不同数据存储格式的数据转换成相同数据存储格式的数据。然后，分别经数据存储单元303对格式转换后的数据进行存储，并经数据提取单元304根据用户请求进行数据提取，并由数据分发单元405将数据提取单元304提取出的数据向用户发送。

由于现有技术中采集到的数据内容、数据存储格式和数据质量千差万别，有时甚至会遇到数据存储格式不能转换或数据转换格式后丢失信息等棘手问题。因此，这种方法虽然表面上解决了数据存储格式的不一致问题，满足了后续对大数据分析工作的需求，但是无法实现数据的按需提取，对数据的处理带来了局限性，同时基于此方法存储的数据，会导致后续的分析结果失真。

发明内容

为解决现有存在的技术问题，本发明实施例期望提供一种数据处理方法及装置，能够在不改变原数据存储格式的情况下，实现对多元异构数据的处理，满足当前用户的按需提取分析大数据的需求。

本发明实施例的技术方案是这样实现的：

根据本发明实施例的一方面，提供一种数据处理方法，所述方法包括：

接收数据查询请求，所述数据查询请求中携带有待查询数据的数据特征信息；

在状态机存储引擎中提取与所述数据特征信息匹配的状态机信息，所述状态机信息包括一个以上的数据源信息；

根据所述状态机信息在特征数据库中提取与所述数据源信息匹配的第一特征数据；

从所述第一特征数据中提取与所述数据特征信息匹配的第二特征数据，将所述第二特征数据进行发送。