[发明专利]一种对乱序数据流排序的方法

说明书

技术领域

本发明涉及数据流排序方法，尤其涉及在内存受限系统中对乱序数据流进行高性能高可用性排序的方法。

背景技术

数据处理系统中，数据源会向外产生大量数据，相同类型的数据构成一串数据流。所谓的无序数据流，即是该数据流中的各个数据到达的先后顺序并非与数据产生的顺序相同。而在数据处理系统的下游，通常要求输入数据是按其产生顺序（序号）到达的，因此需要一个中间的排序环节进行数据排序。由于数据乱序的先天特性，序号较小（表示先生成）的数据可能较晚才会到达，在不可改变上游系统下发数据顺序的情况下，排序模块需要缓存所有数据，直到序号正确的数据到达。

专利《一种实现多引擎并行处理器中数据包的方法》（专利号200510093220）将上游数据进行标记所属通道，通过在不同引擎上构建排队缓存，每次由数据选中的通道输出数据办法来实现排序，可是该方法在内存受限的情况下使用受局限。专利《数据排序系统以及可携式装置中的数据排序方法》（专利号200910261953）统计含某些属性数据的频率值，计算数据的排序值，并由专门的排序单元生成排序结果。该方法利用统计信息预测输入数据的模式，对于到达数据顺序随机的情况并无更多优点。专利《重排序数据分组的方法和设备》（专利号01125541）将输入数据分组，以桶的方式对桶内数据做排序，当桶内数据顺序完成时，发送数据。此方式以桶为单位发送数据，发送效率不高，且受内存制约。

传统的排序方法要求指定长度的输入规模，且对于缺号断号的情况只能等待。而在高性能高可用性领域内，由于数据缺号后等待而引起的数据阻塞甚至是丢弃数据是危险的，而全面缓存数据的办法在内存受限的系统中无法施行。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种能够在内存受限的情况下对高速乱序数据流进行高性能、高可用性地排序的方法，用于解决传统的排序方法要求指定长度的输入规模，且对于缺号断号的情况只能等待，在高性能高可用性领域内，由于数据缺号后等待可能引起的数据阻塞甚至是丢弃数据，而全面缓存数据的办法在内存受限的系统中无法施行的等问题。

为解决上述问题，本发明提供一种对乱序数据流排序的方法，应用于数据处理设备中，其特征在于，所述数据处理设备至少包括第一缓存及第二缓存，且所述第一缓存大小固定，所述方法包括：读取到达数据，并依据到达数据的数据序号将该到达数据插入到第一缓存中预设位置，如果无法插入所述第一缓存，则将到达数据插入到第二缓存中预设位置；从第一缓存中依序读取数据，判断读取位置上是否有有效数据，若是，则发送给下游，若否，则等待，直至该位置存有有效数据时读取并发送给下游；将第二缓存中的数据回载到第一缓存中。

优选地，上述本发明的排序方法中，第二缓存可以是一个或者多个文件。

由于本发明的排序方法中，第一缓存的大小固定，所以本发明的方法对于一级缓存，例如内存，受限制的情况下，能够很好地工作，并且第二缓存的组织形式多样，因此方法适用范围广。

本发明的优选实施例使用文件作为第二缓存，提高了缓存容量、扩展性好并能随机读取，所以减小数据缺号后的等待，减小数据阻塞，避免数据丢弃。

附图说明

图1显示根据本发明的对乱序数据流排序方法的数据流图。

图2显示图1中插入操作11的原理图。

图3显示图1中插入操作12的流程图。

图4显示图1中发送操作2的流程图。

图5显示图1中回载操作3的流程图。

图6-图15显示利用本发明对乱序数据流排序方法的一个实施例对数据流排序过程的示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。