[发明专利]高效的数据处理

说明书

一种改善计算机运行的方法，其将数据从SQL数据库复制到存储单元中的二进制文件，从而将来自SQL数据库的数据从存储单元传输到记忆体，其中该二进制文件具有数据结构和数据类型。具有数据结构和数据类型的数据文件被配置在记忆体内，并且存储单元中的二进制文件通过单次读/写操作被复制到记忆体中的数据文件。

技术领域

本发明涉及数据处理领域。更具体地，本发明涉及通过提供更高效的数据读取和数据定位，特别是储存在计算机存储单元中的数据库的数据，来改善计算机的运行。

背景技术

许多系统和方法产生大量的数据收集和存储。对于现代关系数据库，存储单元(如磁性或光存储介质)中大量数据的保存不成问题。但是，访问这些数据可能非常耗时。例如，从存储单元上的结构化查询语言(SQL)数据库中读取六百万条记录可能需要长达三十秒。三十秒可能看起来不长，但如果有六亿条记录，读取所有数据则需要五十分钟，这对很多应用来说这个时间太长了。

当仅需要读取相对少量的记录时，该时间长度是可接受的，并且可以使用标准SQL管理系统来询问数据库。但是，当要对大数据块进行分析时，或者在需要不同的数据配置时，数据库的标准询问太慢了，上述问题变得更加显著。

作为具体示例，通常收集旋转设备的振动信息，可以快速检测并解决振动特征所表现出来的问题。甚至对于单个设备而言，捕获此类实时信息流会产生大量数据。但是，对于拥有许多此类设备的公司而言，所产生的信息量非常大。经过长时间保存和增加数据，该大量信息将被进一步复杂化。

因为这些信息的数据库非常大并且需要很长时间来询问，所以除非需求急迫或数据量相对小，许多本来希望访问它们的人会被阻止这样做，因此他们并不会为了所有可能对他们有用的分析而访问数据库。

因而，需要能够至少部分地减少诸如上述问题的计算机系统的改进。

发明内容

通过一种改善计算机运行的方法来满足上述和其他需求，其将数据从SQL数据库复制到存储单元中的二进制文件，从而将来自SQL数据库的数据从存储单元中传输到记忆体，其中该二进制文件具有数据结构和数据类型。具有数据结构和数据类型的数据文件被配置在记忆体内，并且存储单元中的二进制文件通过单个读/写操作被复制到记忆体中的数据文件。

根据本发明在此方面的一些实施例中，数据结构包括记录和字段，每条记录具有多个记录与多个字段。在一些实施例中，数据种类包含以下的至少一种：实数、整数与字长。

当对数据文件的记录进行分类时，一些实施例还包括仅遍读整个数据文件一次以找出包含预定数据特征的数据的记录位置。在记忆体中创建指针表，其中指针表包括用于数据文件内每个预定数据特征的第一实例的单个记录位置。从指针表中对应于预定数据特征中的一个所需数据特征的记录位置开始读取数据文件。

当数据文件的记录未分类时，一些实施例还包括仅遍读整个数据文件一次以找到包含预定数据特征的数据的记录位置。在记忆体中创建第一指针表，其中第一指针表包括用于数据文件内的每个预定数据特征的第一实例的单个记录位置。在记忆体中创建第二指针表，其中第二指针表包括，与每个预定数据特征的第一实例的记录位置相关联的、用于数据文件内每个预定数据特征的下一个后续实例的后续记录位置。从第一指针表中对应于预定数据特征的一个所需数据特征的记录位置处开始读取数据文件，并且如果记录位置中的数据不包含所需数据，则于数据文件中迭代地读取第二指针表中与下一个后续实例相关联的记录位置，直至找到所需数据。

用于关联数据文件中的变量的一些实施例包括以下步骤：第一次读取数据文件以确定待关联的每个x和y变量对的平均值和第二次读取数据文件以确定对应于每个x_i和yi变量的以下三个值，其中i表示变量的数量，

和