[发明专利]批处理系统

说明书

技术领域

本发明涉及数据处理领域。尤其地，本发明提供一种处理包括多块数据的批数据的系统和方法。这种系统和方法可用作文本翻译系统的一部分。

背景技术

在数据处理领域，使用队列结构实现了很多批处理系统。典型地，待处理的作业或数据由实体接收并加入到队列结构以等候处理。在简单的批处理系统中，处理元件将依次地从队列结构中选择作业或数据以进行处理。

在具有大量作业的批处理系统中，发现在批处理系统内的单个处理元件将会产生“瓶颈”，其中某些作业将会垄断系统的处理资源。尤其地，大块数据的处理经常会以有害方式使系统慢下来。

本领域中，这个问题的折衷解决方案是把单个处理元件分成多个处理元件以创建并行处理系统。当使用设定数量的硬件或处理资源(例如，设定数量的中央处理元件)实现时，并行处理系统能够使处理资源分布于这些处理元件。这种系统中，由于每个处理元件现在使用对于单个处理元件可用的一定比例的处理资源，与单个处理元件相比，所述多个处理元件中的每个处理元件通常花费更长的时间来完成给定的处理作业。这一有害影响是通过希望垄断处理能力的作业将会仅有害地影响批量作业内的处理元件之一来进行弥补。

然而，实现这种并行处理系统时，当存在大量待处理的作业和/或当接收的作业之中各个作业所需的资源差别很大时，发现这种系统并未有效地处理数据。例如，当处理大量的各种大小的数据文件时，这种系统通常工作欠佳。另外，即使这种并行处理系统可以客观地针对给定数量的作业减小总处理时间，这些无法转化为感知的(即，主观的)处理效率的增加，例如，即使总吞吐量很高，处理等待时间可能也很高。

因此，本领域需要一种能够有效地处理大量不同质量的作业的处理作业或数据的改进系统。

发明内容

根据本发明的第一方面，提供一种处理一批作业的系统，该系统包括：多个处理元件，其中每个处理元件配置为依次处理具有各自分配的值范围内的估计处理时间的作业。

通过使用这个系统，两个或更多的处理元件能够有效地并行处理一批作业或数据。为了增加感知效率，通常对第一处理元件可分派较大的作业，例如，那些包括需要较长处理时间的大量数据的作业，对第二处理元件可分派较小的作业。没有这种系统，较大的作业会阻塞系统，这意味着较小的作业(例如，那些具有少量待处理的数据的作业)在处理之前会经历较长的时间延迟。然而，通过使用一个处理元件(诸如，该处理元件适于依次处理具有小于预定值的数据量的一批作业或数据的数据量)，具有少量数据的多个数据部分(quantum ofdata)可以并行于由第一处理元件执行的大量数据的处理而被快速处理，增加了所述批数据的实际处理速度和感知处理速度。如果第一处理元件和第二处理元件都使用共同的资源，本发明的系统提供一种有效地平衡这些资源的方法。

某些实施例中，各个处理元件的分配的值范围可以是可配置的，例如，可以是能够由用户设置的XML文件中的变量。所述值范围可以实现为小于预设阈值的正值范围，其中所述阈值可以作为变量存储在XML文件。

优选地，本发明的系统还包括：作业或数据管理器，适于设置所述批中的作业或数据量的状态，其中所述状态包括“等待”和“处理”之一。各个处理元件随后优选地被工作管理器分派给所述批中与它的相关标准匹配的“等待”作业或数据部分，并把所述数据部分的状态设置为“处理”。作业或数据管理器还适于在处理之后从所述批中移除已处理的作业或数据部分。特定实施例中，作业或数据管理器适于从客户装置(诸如，翻译计算机系统或FTP服务器)接收数据部分，并且可包括适当编程语言的脚本。这些情况下，数据管理器还适于在接收到数据部分时把所述数据部分加入到所述批中，并把所述数据部分的状态设置为“等待”。

优选地，系统还包括：队列结构，对所述批内的作业或数据部分分类以用于后续处理。这种情况下，每个处理元件被分派来自队列结构的作业，其中队列结构可实现为数据库，其中根据分派的优先级对作业排序。其它实施例中，基于作业的优先级，诸个处理元件被分派来自总作业池的作业。在两个作业具有相同优先级的情况下，可以基于时间戳确定选择作业的次序，所述时间戳指示所述工作被添加到队列结构的时间。

某些实施例中，每个处理元件包括PERL脚本，其中使用XML控制脚本来设置每个适当的处理元件的预定值。