[发明专利]分布式数据处理方法及系统

权利要求书

1.一种分布式数据处理方法，其特征在于，包括：

元数据节点接收客户端发送的检索指令，所述元数据节点属于元数据集群；

所述元数据节点根据检索指令将存储的全部元数据反馈至所述客户端，以使所述客户端根据所述元数据选择第一目标数据节点并向所述第一目标数据节点发送检索请求，一组元数据对应一个数据节点，多个数据节点组成一个数据节点组，全部数据节点组组成特征索引服务器集群，每个数据节点组存在一个数据节点作为第一目标数据节点，所述数据节点组内数据同步；

所述第一目标数据节点接收检索请求，并获取所述检索请求中的特征索引；

所述第一目标数据节点根据所述特征索引确定检索数据，并将所述检索数据反馈至所述客户端，以使所述客户端根据检索数据确定检索结果；

所述方法还包括：

所述元数据节点接收所述客户端发送的写入指令；

所述元数据节点根据所述写入指令在全部数据节点内确定第二目标数据节点；

所述元数据节点将所述第二目标数据节点的元数据反馈至所述客户端，以使所述客户端根据所述元数据向所述第二目标数据节点发送写入请求；

所述第二目标数据节点接收所述写入请求；

所述第二目标数据节点根据所述写入请求进行写入响应。

2.根据权利要求1所述的分布式数据处理方法，其特征在于，所述第一目标数据节点根据所述特征索引确定检索数据包括：

所述第一目标数据节点确定自身缓存管理器中是否存在与所述特征索引对应的检索数据；

若存在，则获取所述检索数据；

若不存在，则在自身存储管理器中查找与所述特征索引对应的检索数据。

3.根据权利要求1或2所述的分布式数据处理方法，其特征在于，所述特征索引包括特征数据，所述特征数据是对待检索数据进行深度学习得到的。

4.根据权利要求1或2所述的分布式数据处理方法，其特征在于，所述检索数据包括数据唯一标识和/或数据位置信息。

5.根据权利要求1所述的分布式数据处理方法，其特征在于，所述数据节点组包括主数据节点和多个从数据节点，所述主数据节点用于控制所述数据节点组的数据同步。

6.根据权利要求5所述的分布式数据处理方法，其特征在于，所述第二目标数据节点为所属数据节点组内的主数据节点，

所述第二目标数据节点根据所述写入请求进行写入响应包括：

所述第二目标数据节点根据所述写入请求在自身存储管理器中进行写入操作并创建特征索引；

所述第二目标数据节点将所述存储管理器中写入的数据及特征索引更新至自身缓存管理器；

所述第二目标数据节点向所述客户端反馈写入响应信息。

7.根据权利要求5所述的分布式数据处理方法，其特征在于，所述第二目标数据节点为所属数据节点组内的从数据节点，

所述第二目标数据节点根据所述写入请求进行写入响应包括：

所述第二目标数据节点将所述写入请求发送至第三目标数据节点，所述第三目标数据节点为所属数据节点组内的主数据节点；

所述第三目标数据节点根据所述写入请求在自身存储管理器中进行写入操作并创建特征索引；

所述第三目标数据节点将所述存储管理器中写入的数据及特征索引更新至自身缓存管理器；

所述第三目标数据节点向所述第二目标数据节点反馈写入响应信息；

所述第二目标数据节点向所述客户端反馈所述写入响应信息。