[发明专利]分布式文件系统任务分派的方法、装置、设备和存储介质

说明书

技术领域

本发明属于分布式文件系统技术领域，特别是涉及分布式文件系统任务分派的方法、装置、设备和存储介质。

背景技术

现有的分布式文件系统中，元数据服务发送任务到客户端，客户端依次处理每一个文件，但是客户端本地没有文件元数据，需要再去元数据服务器请求获取元数据，接收到元数据服务器发送的元数据后，客户端更新本地元数据，再进行相应的任务处理。

而针对请求频繁和元数据服务端分派到固定客户端实时性不高的任务，采用逐条发送的办法，不仅严重增加网络开销，而且对发送端和接收端造成一定的消息处理压力。如果客户端需要文件的元数据才能进行进一步的消息处理，客户端接收到任务后，首先还要向元数据服务器获取元数据，这样通信的效率较低。

发明内容

为解决上述问题，本发明提供了分布式文件系统任务分派的方法、装置、设备和存储介质，能够降低通信次数，减少服务器通信压力，保证任务得到更高效的处理。

本发明提供的分布式文件系统任务分派的方法，包括：

将附加元数据信息的任务插入任务队列；

每隔预设间隔，将所述任务队列中的任务批量发送至客户端；

更新所述客户端中的执行文件的所有元数据，再处理任务；

在任务处理结束后，批量返回回复消息。

优选的，在上述分布式文件系统任务分派的方法中，所述将所述任务队列中的任务批量发送至客户端之后，还包括：

当所述任务发送超过预设时间无回应时，检测所述客户端是否掉线，如果掉线则取消本次任务，当检测到所述客户端启动时再次发送所述任务；

如果所述客户端未掉线，则检测所述客户端本地是否有任务请求记录，如果没有则立即重新发送所述任务，如果有则输出超时日志。

优选的，在上述分布式文件系统任务分派的方法中，所述每隔预设间隔，将所述任务队列中的任务批量发送至客户端为：

每隔5秒，将所述任务队列中任务批量发送至客户端，设置每100个为一批。

本发明提供的分布式文件系统任务分派的装置，包括：

插入单元，用于将附加元数据信息的任务插入任务队列；

发送单元，用于每隔预设间隔，将所述任务队列中的任务批量发送至客户端；

更新和处理单元，用于更新所述客户端中的执行文件的所有元数据，再处理任务；

返回单元，用于在任务处理结束后，批量返回回复消息。

优选的，在上述分布式文件系统任务分派的装置中，还包括：

超时处理单元，用于当所述任务发送超过预设时间无回应时，检测所述客户端是否掉线，如果掉线则取消本次任务，当检测到所述客户端启动时再次发送所述任务；如果所述客户端未掉线，则检测所述客户端本地是否有任务请求记录，如果没有则立即重新发送所述任务，如果有则输出超时日志。

优选的，在上述分布式文件系统任务分派的装置中，所述每隔预设间隔，将所述任务队列中的任务批量发送至客户端为：

每隔5秒，将所述任务队列中任务批量发送至客户端，设置每100个为一批。

本发明提供的分布式文件系统任务分派的设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上面任一项所述分布式文件系统任务分派的方法的步骤。

本发明提供的分布式文件系统任务分派的存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上面任一项所述分布式文件系统任务分派的方法的步骤。

通过上述描述可知，本发明提供的上述分布式文件系统任务分派的方法、装置、设备和存储介质，由于该方法包括将附加元数据信息的任务插入任务队列；每隔预设间隔，将所述任务队列中的任务批量发送至客户端；更新所述客户端中的执行文件的所有元数据，再处理任务；在任务处理结束后，批量返回回复消息，因此能够降低通信次数，减少服务器通信压力，保证任务得到更高效的处理。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的第一种分布式文件系统任务分派的方法的示意图；

图2为本申请实施例提供的第一种分布式文件系统任务分派的装置的示意图；