[发明专利]数据处理方法、装置和存储介质

说明书

本公开涉及一种数据处理方法、装置和存储介质。其所公开的板卡包括：存储器件、接口装置和控制器件以及设置有数据处理装置的芯片；其中，数据处理装置与存储器件、控制器件以及接口装置分别连接；存储器件，用于存储数据；接口装置，用于实现数据处理装置与外部设备之间的数据传输；控制器件，用于对数据处理装置的状态进行监控。本公开实施例所提供的数据处理方法、装置和存储介质，减少了数据读取的数据量，缩短了数据读取的时间，提高了数据读取的效率和速度，降低了功耗，使得后续单元执行运算、存储等处理的效率得到显著提高，提升了装置进行数据处理的性能。

技术领域

本公开涉及计算机技术领域，尤其涉及一种数据处理方法、装置和存储介质。

背景技术

相关技术中，装置利用运算器实现运算处理的流程为：从存储器加载数据、运算器完成计算、输出结果到存储器。然而，算法通常具有数据量大、计算量大的特性。而且由于存储器墙的存在，数据加载和存储往往耗费大量时间，导致运算器效率无法达到得有有效提高。而在神经网络算法中，为满足不同算子的运算需求，需要在执行具体的运算之前对数据进行填充，这更加大了访存功耗。

发明内容

有鉴于此，本公开提出了一种数据处理方法、装置和存储介质。

根据本公开的一方面，提供了一种数据处理装置，所述装置包括：读描述符解析单元和数据读取单元，

所述读描述符解析单元，用于对接收到的针对第一数据的第一描述信息进行解析，对解析得到的针对所述第一数据的第一读填充描述符进行优化修改得到第二读填充描述符，并将根据所述第二读填充描述符生成读填充数据发送至后续单元，以及将所述第二读填充描述符发送至所述数据读取单元；

所述数据读取单元，用于接收针对所述第一数据的读请求和第二读填充描述符，根据所述第二读填充描述符对所述读请求进行修改得到修改后读请求，根据所述修改后读请求读取所述第一数据部分作为第二数据，并将所述第二数据发送至所述后续单元，

所述第二数据为所述第一数据中除所述读填充数据以外的数据。

根据本公开的另一方面，提供了一种数据处理方法，应用于数据处理装置，所述数据处理装置包括读描述符解析单元、数据读取单元，所述方法包括：

控制所述读描述符解析单元对接收到的针对第一数据的第一描述信息进行解析，对解析得到的针对所述第一数据的第一读填充描述符进行优化修改得到第二读填充描述符，并将根据所述第二读填充描述符生成读填充数据发送至后续单元，以及将所述第二读填充描述符发送至所述数据读取单元；

控制所述数据读取单元接收针对所述第一数据的读请求和第二读填充描述符，根据所述第二读填充描述符对所述读请求进行修改得到修改后读请求，根据所述修改后读请求读取所述第一数据部分作为第二数据，并将所述第二数据发送至所述后续单元，

所述第二数据为所述第一数据中除所述读填充数据以外的数据。

根据本公开的另一方面，提供了一种机器学习运算装置，所述装置包括：

一个或多个上述数据处理装置，用于从其他处理装置中获取待运算数据和控制信息，并执行指定的机器学习运算，将执行结果通过I/O接口传递给其他处理装置；

当所述机器学习运算装置包含多个所述数据处理装置时，所述多个所述数据处理装置间可以通过特定的结构进行连接并传输数据；

其中，多个所述数据处理装置通过快速外部设备互连总线PCIE总线进行互联并传输数据，以支持更大规模的机器学习的运算；多个所述数据处理装置共享同一控制系统或拥有各自的控制系统；多个所述数据处理装置共享内存或者拥有各自的内存；多个所述数据处理装置的互联方式是任意互联拓扑。

根据本公开的另一方面，提供了一种组合处理装置，所述组合处理装置包括：