[发明专利]存储设备、分布式存储系统以及数据处理方法

说明书

本申请提供了一种存储设备、分布式存储系统以及数据处理方法，属于存储技术领域。本申请通过在存储设备内部设置AI装置，使得该存储设备具有AI计算的能力。另外，由于存储设备还包括处理器和硬盘，因此还具有业务数据存储的能力，从而实现了存储与AI算力的融合。AI参数以及业务数据在存储设备的内部通过高速互联网络进行传输，而无需经过外部网络的转发，因此极大地缩短了业务数据以及AI参数的传输路径，能够近距离地载入业务数据，从而提高了加载速度。

本申请要求于2019年8月22日提交的申请号为201910779723.9、发明名称为“存储设备、AI芯片、存储系统及AI计算方法”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本申请涉及存储技术领域，特别涉及一种存储设备、分布式存储系统以及数据处理方法。

背景技术

随着存储技术以及人工智能(artificial intelligence，AI)技术的发展，存储设备中可以存储用于AI计算的业务数据，该业务数据例如可以是用于模型训练的样本集，比如说用于训练人脸识别模型的人脸图片集、用于训练语音识别模型的音频样本集、用于训练语义识别模型的样本文本等。

以人脸图片集为例，由于待计算的数据量庞大，单个服务器已经不能满足计算需求，因此目前主流架构为多设备的集群式架构。在该架构中，包括AI集群、存储集群和交换机。其中AI集群由多个AI服务器组成，用于进行AI计算；存储集群由多个存储设备组成，用于存储业务数据；交换机用于在AI服务器与存储设备之间转发业务数据。在AI计算的过程中，AI服务器基于传输控制协议/因特网互联协议(transmission control protocol/internet protocol，TCP/IP)协议，与存储设备建立远程的网络连接。当AI服务器要获取AI计算所需的业务数据时，会通过交换机向存储设备发送数据获取请求，存储设备接收数据获取请求后，通过交换机向AI服务器发送存储的业务数据。然后，AI服务器再将该业务数据加载至内存，进行AI计算。

在上述架构中，业务数据要从存储设备通过网络发送至交换机，再通过网络从交换机发送至AI服务器，才能让AI服务器得到业务数据来进行AI计算，可见AI计算的过程中获取业务数据的路径过长，造成获取业务数据的速度过慢，导致获取业务数据的效率低下。

发明内容

本申请实施例提供了一种存储设备、分布式存储系统以及数据处理方法，能够解决相关技术中业务数据获取速度过慢、获取效率低下的技术问题。所述技术方案如下：

第一方面，提供了一种存储设备，包括处理器、硬盘和AI装置，所述AI装置和所述处理器之间通过高速互联网络通信；所述处理器，用于接收业务数据，并将所述业务数据存储至所述硬盘中；所述AI装置，用于向所述处理器发送数据获取请求以获取所述业务数据，并对所述业务数据进行AI计算。

本实施例提供的存储设备，内部设置有AI装置，该存储设备既可以通过AI装置，提供AI计算的能力，又可以通过存储设备中的处理器和硬盘，提供业务数据存储的能力，从而实现了存储与AI算力的融合。当需要进行AI计算时，业务数据在存储设备的内部通过高速互联网络进行传输，而无需经过外部网络的转发，因此极大地缩短了业务数据的传输路径，能够近距离地载入业务数据，从而提高了加载速度。可选地，所述数据获取请求包括第一数据获取请求；所述处理器，用于响应于所述第一数据获取请求，从所述硬盘中获取所述业务数据，并将所述业务数据发送给所述AI装置。通过该方式，提供了一种AI装置就近获取业务数据的方法，由于存储设备内部包含了AI装置、处理器和硬盘，当AI装置要获取业务数据时，通过向处理器发送数据获取请求，由存储设备的处理器从本地的硬盘中获取业务数据，发送给AI处理器，使得AI处理器能够从本地得到业务数据，免去了通过网络向远端存储设备请求业务数据带来的通信开销，从而节省了获取业务数据的时延。