[发明专利]为分布式处理系统管理元数据

说明书

本发明涉及为分布式处理系统管理元数据。描述了用于为分布式处理系统管理元数据的方法、系统和装置。在一个方面，一种方法包括接收计算规范，所述计算规范包括指定要由分布式处理系统执行的计算的初始状态的粒子集合，其中，每个粒子包括指定计算的初始状态的一部分的元数据；基于与每个粒子相关联的粒子类型存储表示计算的状态的粒子层级，该粒子层级包括用于预订该粒子层级的预订粒子，每个预订与该粒子层级中所包括的一个或多个粒子相对应，并且每个预订指定要由集线器设备所执行的一个或多个动作；并且在该计算的执行期间执行该至少一个预订所指定的动作中的至少一个动作。

分案说明

本申请属于申请日为2015年3月4日的中国发明专利申请No.201580019840.5的分案申请。

技术领域

该说明书涉及管理分布式处理系统中的元数据。

背景技术

分布式处理系统是包括能够被指派为执行各种任务或过程的多个数据处理器的系统。它们例如可以包括数千个数据处理器，其中每一个能够执行多种不同的过程。分布式处理系统可以被用于处理大量数据和/或用于处理连续的数据流。能够由分布式计算系统来执行的各种计算已经促成了用于执行各种任务的许多不同工具的研发。

发明内容

总体上，该说明书中所描述主题的一个创新方面能够以方法来体现，其包括动作：在包括一个或多个数据处理装置的集线器设备处接收计算规范，所述计算规范包括指定要由分布式处理系统所执行的计算的初始状态的粒子集合，所述分布式处理系统包括多个数据处理器，其中该粒子集合中所包括的每个粒子包括指定计算的初始状态的一部分的元数据；由该集线器设备基于与该粒子集合中所包括的每个粒子相关联的粒子类型来存储表示计算的状态的粒子层级，该粒子层级包括用于该粒子层级的一个或多个预订的预订粒子，每个预订与该粒子层级中所包括的一个或多个粒子相对应，并且每个预订指定要由该集线器设备所执行的一个或多个动作；以及由该集线器设备并且在该计算的执行期间执行由该一个或多个预订中的至少一个预订所指定的一个或多个动作中的至少一个动作。该方面的其它实施例包括相对应的系统、装置，以及在计算机存储设备上进行编码的被配置为执行该方法的动作的计算机程序。

这些和其它实施例均可选地能够包括以下一个或多个特征。该粒子层级可以包括：一个或多个管理器代理(agent)粒子，其指定一个或多个管理器代理过程的元数据，所述一个或多个管理器代理过程管理该分布式处理系统的计算的执行；一个或多个数据集粒子，其包括能够由该分布式处理系统访问的数据的元数据；一个或多个任务粒子，其包括要由该分布式处理系统执行的一个或多个任务的元数据；或者一个或多个工作器代理粒子，其针对该一个或多个任务中的至少一个任务而包括一个或多个工作器代理的元数据，每个工作器代理与用于执行该任务的多个数据处理器的子集相对应。

该计算规范可以针对该粒子层级的一个或多个预订中的每一个预订指定预订代理。每个预订代理可以是i)具有粒子层级中所包括的相对应粒子的管理器代理，或者ii)具有粒子层级中所包括的相对应粒子的工作器代理。

该一个或多个预订之一可以是观察预订，其指示该集线器设备向该观察预订的预订代理通知由该观察预订所对应的该粒子层级中的一个或多个粒子指定的状态部分的指定变化。

该一个或多个预订之一可以是查询预订，其指示该集线器设备响应于接收到该查询预订而为该查询预订的预订代理提供与该查询预订所对应的该粒子层级中的一个或多个粒子所指定的状态部分相关联的特定信息。

该一个或多个预订之一可以是主张预订，其指示该集线器设备指派该主张预订所对应的该粒子层级中的一个或多个粒子中所包括的粒子的所有权。

该方法可以进一步包括：接收用于计算的附加粒子；并且针对该计算将该附加粒子存储在该粒子层级中。