[发明专利]基于分布式系统的智能数据服务方法

说明书

技术领域

本发明涉及计算技术领域，更具体地说，本发明涉及一种基于分布式系统的智能数据服务方法。

背景技术

在数据密集型应用中，大规模数据集处理是应用的核心，而I/O（输入/输出）带宽成为影响其性能的主要因素，这使得传统的计算和存储分离的系统不适合数据密集型应用，因此，需要一种新型的数据存储和服务模式，以提高数据传输和处理的性能。

数据服务一般指的是数据的存储、管理和传输，在不同的应用场合中具体表现形式不同。在数据密集型应用背景下，数据服务主要包含两方面的内容，一是海量数据的存储技术，二是海量数据的组织管理技术。

智能数据服务指的是在上述两方面加入了数据的预处理操作处理，这样可以将部分数据处理负载从外部计算设备转移到系统内部，从而减少系统向外部计算设备提供数据服务的带宽需求。

实现数据服务有很多种方法，比如采用传统的集中全局存储的方法，或采用数据库系统。

传统的集中全局存储的方法需要专用的存储服务器，传统的计算密集型计算采用的是这种模式。集中全局存储的方法构建数据服务的性能受限于存储服务器的带宽，并且价格昂贵，难以大规模扩展。

数据库系统又分为关系型数据库和非关系型数据库。数据密集型应用工作数据集较大，且不需要进行频繁的数据库操作，所以不适合存储在关系型数据库中。非关系型数据库提供Key-Value（键-值）的存储形式，但它难以在数据服务中加入预处理的功能，难以形成智能数据服务。

发明内容

本发明所要解决的技术问题是针对现有技术中存在上述缺陷，提供一种在数据密集应用中将传统的分布式系统的空闲存储资源聚合起来并向外部计算设备提供智能数据服务的方法。

根据本发明，提供了一种基于分布式系统的智能数据服务方法，其包括：利用分布式系统的主节点管理全局文件命名空间；并且，在向分布式系统写入文件的流程、从分布式系统读取文件的流程、以及从分布式系统读取文件的流程中，利用分布式系统的主节点对客户端的请求进行分析处理，选择具体的数据预处理程序，分发到分布式系统的从节点以进行后续的数据预处理和传输操作。

优选地，主节点监测并管理从节点的正常运行，保存并更新所有从节点数据存储的元数据，以及提供客户端对数据请求的响应。

优选地，主节点维持分布式系统的全局文件系统的目录。

优选地，在分布式系统中，数据按照原始数据的形式进行存储，不对文件进行分块存储。

优选地，数据是冗余存储的，从而一个文件可以冗余存储在多个从节点中。

优选地，向分布式系统写入文件的流程包括：第一写入步骤：客户端向主节点询问需要写入的文件是否在分布式系统中存在；第二写入步骤：如果需要写入的文件存在分布式系统，主节点向客户端发送文件的元数据，其中包括文件的信息和文件所处的从节点信息，向分布式系统写入文件的流程进入第三写入步骤；如果需要写入的文件不存在分布式系统，主节点向客户端返回可写入文件的从节点列表；第三写入步骤：客户端根据第二写入步骤返回的文件元数据及从节点信息向其中一个从节点写入文件；第四写入步骤：从节点接收客户端数据流并写入文件，如果成功完成向主节点发送成功信息，并同时向客户端发送确认信息，客户端收到确认信息后完成操作；如果确认信息不成功，重复第二写入步骤的操作；第五写入步骤：主节点收到从节点完成数据写入的信息后更新元数据。

优选地，向分布式系统写入文件的过程不会对数据进行预处理。

优选地，从分布式系统读取文件的流程包括：第一读取步骤：客户端向主节点发送数据请求，其中包括文件路径和所需要的预处理；第二读取步骤：主节点对客户端的数据请求进行分析，确定所需文件所处的从节点和所需要的预处理程序，直接对所需文件进行预处理操作，并且向客户单返回中间数据所处的从节点；第三读取步骤：客户端直接向中间数据所处的从节点进行数据请求，从节点根据数据数据预处理的情况返回给客户端所需数据。

优选地，从分布式系统读取文件的流程包括：第一预处理步骤：客户端向主节点发送数据预处理操作，并根据需要编写更加复杂的数据预处理程序；第二预处理步骤：主节点根据数据预处理处理请求指定从节点通过数据预处理引擎对本地文件进行数据预处理，从节点完成后发送给主节点成功信息；第三预处理步骤：主节点根据从节点发送的成功信息更新元数据。