[发明专利]使用存储中代码执行的数据处理卸载

说明书

本发明公开了用于使用存储中代码执行来卸载数据处理任务的系统和方法。例如，数据存储系统，包括一个或多个处理器、非暂态存储介质以及可由所述一个或多个处理器执行以执行操作的存储逻辑，所述操作包括：接收被配置为执行数据处理卸载任务的可移植代码，所述可移植代码包括用于处理所述存储介质中存储的数据的一个或多个可翻译的、硬件中立指令，所述指令包括：使用设置在所述存储逻辑中的翻译和执行引擎来翻译和执行所述可移植代码的所述一个或多个可翻译的、硬件中立的指令，以执行所述数据处理卸载任务；确定所述可移植代码的使用已结束；以及响应于确定所述可移植代码的使用已结束来释放所述可移植代码。

背景技术

本公开涉及用于分布式数据处理的系统和方法。具体地，本公开涉及用于使用存储中代码执行来卸载数据处理任务的方法。

有许多应用程序需要某种数据处理，例如，扫描数据集以查找某模式、数据排序、索引构建、数据压缩等。这些包括涉及MapReduce任务的“大数据”应用程序。执行此类应用程序的主机设备可能需要从存储设备读取整个数据集以用于数据处理，然后在数据处理完成之后将新生成的所得数据集写回存储装置。此类活动通常在主机与存储装置之间的总线或网络上生成大量流量，给主机造成不必要的负担，并且消耗显著量的电力。

当前用于克服以上问题的方法可包括将数据处理任务从主机设备卸载到存储设备。在这种方法中，主机编译数据处理任务的源代码，并且向存储设备发送所得编译的二进制代码，以在存储设备内执行。然而，这种用于将数据处理任务卸载到存储设备的方法有很多缺陷。第一，数据处理任务可仅被卸载到具有与所编译的二进制代码兼容的特定硬件架构的有限范围的存储设备。第二，从主机发送至存储设备的二进制代码可能易受安全性问题的影响，该安全性问题需要在存储设备上使用复杂而资源密集的措施(例如，挖隧道、容器)以保护数据处理任务的完整性。第三，由于无法考虑到执行期间在存储设备上可能发生的实时操作条件，数据处理任务可能无法在存储设备上最佳地运行。

因此，需要一种方法和系统，例如以提供最佳性能的灵活、安全和资源有效的方式将数据处理任务卸载到存储系统上。

发明内容

本公开涉及用于使用存储中代码执行来卸载数据处理任务的系统和方法。

根据一个创新方面，一种数据存储系统包括一个或多个处理器、非暂态存储介质以及可由一个或多个处理器执行以执行操作的存储逻辑，该操作包括：接收被配置为执行数据处理卸载任务的可移植代码，可移植代码包括一个或多个可翻译的、硬件中立指令以用于处理存储介质上存储的数据；使用设置在存储逻辑中的翻译和执行引擎来翻译和执行可移植代码的一个或多个可翻译的、硬件中立指令，以执行数据处理卸载任务；确定可移植代码的使用已结束；以及响应于确定可移植代码的使用已结束来释放可移植代码。

根据另一个创新方面，一种方法包括接收被配置为执行数据处理卸载任务的可移植代码，可移植代码包括一个或多个可翻译的、硬件中立指令以用于处理非暂态存储介质上存储的数据；使用设置在数据存储系统中的翻译和执行引擎来翻译和执行可移植代码的一个或多个可翻译的、硬件中立指令，以执行数据处理卸载任务；确定可移植代码的使用已结束；以及响应于确定可移植代码的使用已结束来释放可移植代码。

根据另一个创新方面，一种数据存储系统包括一个或多个处理器，非暂态存储介质，用于接收被配置为执行数据处理卸载任务的可移植代码的装置，可移植代码包括一个或多个可翻译的、硬件中立指令以用于处理存储介质上存储的数据，用于翻译和执行可移植代码的一个或多个可翻译的、硬件中立指令以执行数据处理卸载任务的装置，用于确定可移植代码的使用已结束的装置，以及用于响应于确定可移植代码的使用已结束而释放可移植代码的装置。