[发明专利]一种在文件处理系统中处理任务的方法和装置

说明书

说明书在实施例中公开一种在文件处理系统中处理任务的方法，包括：接收消息中心发送的、要求处理任务的消息；根据所述消息查询共享控制信息，其中所述共享控制信息由所述文件处理系统与至少一个其他处理环境中的文件处理系统所共享,用以确定所述消息对应的任务的允许处理环境；根据查询结果判断所述文件处理系统是否有权处理所述消息对应的任务；在有权处理的情况下，处理所述消息对应的任务，并将所述任务的处理状态记录在任务数据库中，其中所述任务数据库由所述文件处理系统和所述至少一个其他处理环境中的文件处理系统所共享。通过实施例中的方案，可以在多套运行环境中进行任务处理。

技术领域

本发明涉及分布式文件处理和灰度发布，更具体而言，涉及适用于灰度发布的分布式文件处理的方法和装置。

背景技术

在信息处理特别是文件处理中，广泛采用分布式文件处理系统来执行大量文件的处理工作。一般地，分布式文件处理系统包括由多个执行处理任务的机器构成的一个机器集群。消息中心定时地将待执行的文件任务通过消息的形式发送给分布式文件处理系统。分布式文件处理系统在接收到消息之后，根据消息来创建任务或执行任务。在执行任务过程中，特别是在生成或解析一个文件时，为了加快处理速度，分布式文件处理系统会将处理文件的任务拆分成多个子任务，分发到集群中的多个机器中并行执行，以此提高处理效率。

另一方面，在系统进行升级改造完成之后，为了尽可能小的影响原有业务，发布时将一部分业务放在新系统中执行，其余业务仍然放在原来的系统中执行，待验证新系统质量符合要求后才将全部业务切换到新系统中。这个过程称为灰度发布或灰度验证。

在系统发布到线上生产环境之前，新系统执行的环境又称为预发布环境。预发布环境和线上生产环境都可用于处理线上数据，其中预发布环境一般处理能力有限，通常只是作为内测用，而不对外部用户开放。为了保证线上环境的安全，预发布环境和线上生产环境之间相互隔离，一个环境的数据不会流转到另一个环境。

对于分布式文件处理的情况，如果预发布环境和线上生产环境同时开启，会有两套文件处理系统和消息中心分别在各自环境下同时执行，每套中的消息中心都会不断发送任务消息。如此，同一任务有可能在两套环境中执行，文件有可能相互覆盖，带来文件处理安全性和准确性上的风险。

因此，需要更有效的方案，使得在灰度验证过程中，分布式文件处理系统可以在两套环境中安全有效地处理文件。

发明内容

本说明书中提供的实施例用于在文件处理系统中处理任务，该处理任务的方案适用于同时存在多套运行环境的情况，从而解决现有技术中的问题。

为实现上述目的，在一个方面，说明书的实施例提供了一种在文件处理系统中处理任务的方法，包括：接收消息中心发送的、要求处理任务的消息；根据所述消息查询共享控制信息，其中所述共享控制信息由所述文件处理系统与至少一个其他处理环境中的文件处理系统所共享,用以确定所述消息对应的任务的允许处理环境；根据查询结果判断所述文件处理系统是否有权处理所述消息对应的任务；在有权处理的情况下，处理所述消息对应的任务，并将所述任务的处理状态记录在任务数据库中，其中所述任务数据库由所述文件处理系统和所述至少一个其他处理环境中的文件处理系统所共享。

在一个实施例中，所述共享控制信息包括环境配置信息，用于记录至少一项任务的允许处理环境，所述根据所述消息查询共享控制信息包括：根据所述消息获取对应的任务信息；根据所述任务信息读取所述环境配置信息中所记录的所述任务信息对应的允许处理环境。

在一个实施例中，所述环境配置信息存储在任务数据库中。

在一个实施例中，所述环境配置信息存储在配置数据库中，所述配置数据库由所述文件处理系统与所述至少一个其他处理环境中的文件处理系统所共享。

在一个实施例中，所述环境配置信息预先存储在所述文件处理系统中，及所述至少一个其他处理环境中的文件处理系统中。