[发明专利]一种Linux文件系统与实时数据库索引融合的技术

说明书

技术领域

本发明涉及文件系统，实时数据库技术，以点为索引对象的工业数据索引技术。

背景技术

文件系统用来管理磁盘数据。文件系统的数据索引方式和磁盘数据组织结构有着密切的关系。目前的目前绝大多数文件系统采用的层次结构和目录索引机制，这种分级机制在文件分类管理、文件数目的动态增减和文件数据的动态增长方面有着高效的性能。但对于大规模的工业数据上，这种文件系统的管理方式影响工业数据的查询。

实时数据库是数据库技术与实时系统结合的产物。实时数据库在流程行业(石化，电力，钢铁)有着广泛的应用。它可用于生产过程的自动采集、存储和监视，也可在线存储每个工艺过程点的多年数据，是企业MES的核心。实时数据库的最主要特征就是其数据和任务都有显式定时限制，但是由于实时数据库主要应用于流程行业，而流程行业通常点数规模比较大，在要求的实时性的同时还要完成对于大量历史数据的检索，以便事后分析和事故追忆，因此如何高效的对实时数据库的数据进行有效的组织管理和快速的数据检索，就成了决定实时数据库性能好坏的关键因素。

目前的实时数据库产品，其原数据存储是建立在通用文件系统之上的，但是通用文件系统的组织结构和索引方式影响以点为单元的工业数据的查询效率，同时也限制了实时数据库的性能。

发明内容

本发明主要是提供一种新的数据存储与索引技术。这种数据索引技术根据工业数据特点，结合linux文件系统的实现方式，将数据的组织管理和实时数据库的索引技术相结合，提供一种按照点、时间、数值的快速索引机制，同时采用簇和块的磁盘数据块管理方式，提高单次查询的数据吞吐能力，从而调高实时数据库的性能。

为了达到上述目的，该方法的设计上，分为以下几个部分：

1.以点为索引对象

2.按时间段连续存储

3.按照数据块操作

4.采用独立的系统访问接口

将点作为索引对象：目前的绝大多数文件系统，用文件节点来表示文件对象和目录对象。对文件的索引是通过其目录节点、目录数据、文件节点、文件数据进行的。这种数据组织方式，在实时数据库中，如果对某一点的数据进行访问时，需要先找到原数据保存的目录，从目录的数据区中找到文件对应的索引节点号，按照索引节点号，找到索引信息，从索引信息中的数据块中取出数据，再从内存的缓冲区中找到对应点的数据。如果遇到文件从在多级目录，上述过程会不断的递归下去。这种文件索引方式降低了实时数据库中单点的巡查能力，同时也降低了实时数据库的性能。在本发明中设计的数据索引方式中，没有采用这种目录索引方式，而是将工业采样点作为索引对象。在针对某一点的数据操作时，首先获取该点的点信息，根据点信息中所指示的数据区，将数据从数据区中读取或存入。采用这种索引机制，减少了数据的访问时间，提高实时数据库的单秒巡检能力。

按时间段连续的存储：上文中已提过，这种索引技术是以点为索引对象，每一个点对应工业环境中的一个实际的数据采集点。将磁盘的数据块按照簇来管理，每一个点对应多个簇。每一个簇中，包含簇信息块和多个连续的数据块。簇信息中包含指向前一簇和指向后一簇的指针，通过这些指针，将该点的所有簇链接成一个双向链表。每一个簇中包含多个连续的数据块，可以将同一个点的数据保存在同一个簇的连续数据块中。数据簇信息中包含簇的起始时间和结束时间，同时保存着每一个数据块的起始时间和结束时间。通过这种组织方式，提高按时间查询命中的概率，减少了数据块的查询时间。

按照数据块来管理数据：目前的操作系统中是按照块来操作磁盘的，每一个块的大小分为1024字节、2048字节或者4096字节。事实证明，这种磁盘管理方式可以提高数据的吞吐能力。在本文中提及的索引技术的实现中，每一个块的大小为1024字节。在每一个数据块中保存着该点的多条记录，每一条记录的形式为：时间偏移+数据。根据上文中提到的簇中块的起始时间和结束时间，判读查询的时间点是否命中。然后根据数据块的起始时间和数据块内的时间偏移，查找出给定时间点的数据值。

系统调用接口：由于本索引技术的实现是以点为索引对象，同时按照独立的数据块操作。这种操作方式有别普通文件系统中通过文件句柄对文件的访问。在本技术中，通过添加新的系统调用来支持点、时间、数值的操作。系统调用如图1所示，具体信息为：数据写：点号、数据块数、数据块信息、数据块。数据读：点号、时间、缓冲区指针。

附图说明

图1所示为系统调用的示意图；

图2为磁盘数据组织结构。

图3为点索引和簇之间的关系。