[发明专利]使用AI调用预测和缓存的方法和系统

说明书

公开了预测和处理可缓存AI调用的方法和系统。一种方法包括由调用预测处理计算机确定AI计算机在阈值处理器使用率以下操作。然后，所述方法包括由所述调用预测处理计算机从编排服务计算机请求一组可缓存请求，并且从所述编排服务计算机接收所述一组可缓存请求。然后，所述方法包括由所述调用预测处理计算机将来自所述一组可缓存请求的可缓存请求发送给所述AI计算机。然后，所述方法包括由所述调用预测处理计算机接收输出。所述输出由所述AI计算机基于所述可缓存请求生成。然后，所述调用预测处理计算机将所述输出存储在数据存储库中。

相关申请的交叉引用

无。

背景技术

随着人工智能(AI)技术(例如机器学习、自然语言处理和知识表示)的进步，它们变得越来越重要。AI智能可用于分析如气象预测、商业决策和天文理论等各种各样的主题。然而，AI模型的运行成本可能非常高，需要大量的处理能力，这些处理能力可能意味着昂贵的服务器、空间和能源。个人可能没有资源来运行复杂的机器学习模型，因此可能依靠具有超级计算机或大型计算集群的服务，这些服务可以为他们处理数据和运行模型。这样，AI计算服务可能想要优化其服务。具体地说，它们想要进行优化以免浪费宝贵的处理时间，并且确保服务可以扩展以处理来自大量客户端的查询。在高峰期期间，可能接收大量预测请求，并且每个预测请求可能需要一个或多个模型长时间运行。这会导致系统负担和长时间的等待。相反，在非高峰期，可能出现很少的请求，从而使系统有大量空闲时间。在高峰期增加处理能力以支持高需求是很昂贵的，并且可能使非高峰期期间的空闲处理能力增加。

在先前系统中，用户可以将对预测的请求发送给计算机。计算机可以检取与预测请求有关的上下文数据，然后将预测请求发送给AI计算机。AI计算机可以处理预测请求并且生成输出。然后通过计算机将输出返回到用户装置。因此，AI计算机的工作受限于从用户装置接收的请求。

实施例单独地以及共同地解决了这些和其它问题。

发明内容

一种实施例包括由调用预测处理计算机确定AI计算机在阈值处理器使用率以下操作。然后，所述方法包括由所述调用预测处理计算机从编排服务计算机请求一组可缓存请求，并且由所述调用预测处理计算机从所述编排服务计算机接收所述一组可缓存请求。然后，所述方法包括由所述调用预测处理计算机将来自所述一组可缓存请求的可缓存请求发送给所述AI计算机。然后，所述方法包括由所述调用预测处理计算机接收输出，其中所述输出由所述AI计算机基于所述可缓存请求生成；以及由所述调用预测处理计算机发起将所述输出存储在数据存储库中。

另一实施例包括一种系统，所述系统包括调用预测处理计算机，所述调用预测处理计算机包括处理器和计算机可读介质，所述计算机可读介质包括用于实施方法的代码，所述方法包括确定AI计算机在阈值处理器使用率以下操作。然后，所述方法包括从编排服务计算机请求一组可缓存请求，以及从所述编排服务计算机接收所述一组可缓存请求。然后，所述方法包括将来自所述一组可缓存请求的可缓存请求发送给所述AI计算机。然后，所述方法包括接收输出，其中所述输出由所述AI计算机基于所述可缓存请求生成，以及发起将所述输出存储在数据存储库中。

另一实施例包括由编排服务计算机从用户装置接收包括呈AI调用形式的预测请求的预测请求消息，以及由所述编排服务计算机确定所述预测请求是可缓存请求。然后，所述方法包括由所述编排服务计算机从数据存储库检取上下文数据，以及由所述编排服务计算机修改所述预测请求消息以包括所述上下文数据。所述方法还包括由所述编排服务计算机将所述预测请求消息发送给AI计算机，所述预测请求消息包括所述AI调用和所述上下文数据。然后，所述方法包括由所述编排服务计算机从所述AI计算机接收响应于所述预测请求消息的输出，以及由所述编排服务计算机将所述输出发送给所述用户装置。然后，所述方法包括由所述编排服务计算机发起所述预测请求和所述输出在所述数据存储库中的存储。