[发明专利]使用AI调用预测和缓存的方法和系统

权利要求书

1.一种方法，包括：

由调用预测处理计算机确定AI计算机在处理器使用率阈值以下操作；

由所述调用预测处理计算机从编排服务计算机请求一组可缓存请求；

由所述调用预测处理计算机从所述编排服务计算机接收所述一组可缓存请求；

由所述调用预测处理计算机将来自所述一组可缓存请求的可缓存请求发送给所述AI计算机；

由所述调用预测处理计算机接收输出，其中所述输出由所述AI计算机基于所述可缓存请求生成；以及

由所述调用预测处理计算机发起将所述输出存储在数据存储库中。

2.根据权利要求1所述的方法，其中所述处理器使用率阈值为约20％或更小。

3.根据权利要求1所述的方法，其中所述一组可缓存请求包括最有可能由用户请求的可缓存请求。

4.根据权利要求1所述的方法，其中所述输出在所述数据存储库中保留预定时间段。

5.根据权利要求4所述的方法，其中所述时间段由所述AI计算机确定为所述输出的一部分。

6.根据权利要求1所述的方法，其中所述输出从所述编排服务计算机接收。

7.根据权利要求1所述的方法，其中所述AI计算机包括人工神经网络。

8.根据权利要求1所述的方法，其中所述调用预测处理计算机经由所述编排服务计算机将所述可缓存请求发送给所述AI计算机。

9.根据权利要求1所述的方法，其中所述调用预测处理计算机对所述一组可缓存请求进行优先级排序以选择所述可缓存请求。

10.根据权利要求1所述的方法，其中只要所述AI计算机低于所述阈值处理器使用率，所述调用预测处理计算机就会连续地将来自所述一组可缓存请求的可缓存请求发送给所述编排服务计算机。

11.一种系统，包括：

调用预测处理计算机，所述调用预测处理计算机包括处理器和计算机可读介质，所述计算机可读介质包括用于实施方法的代码，所述方法包括：

确定AI计算机在阈值处理器使用率以下操作；

从编排服务计算机请求一组可缓存请求；

从所述编排服务计算机接收所述一组可缓存请求；

将来自所述一组可缓存请求的可缓存请求发送给所述AI计算机；

接收输出，其中所述输出由所述AI计算机基于所述可缓存请求生成；以及

发起将所述输出存储在数据存储库中。

12.根据权利要求11所述的系统，其中所述阈值处理器使用率为20％或更小。

13.根据权利要求11所述的系统，其中所述一组可缓存请求包括最有可能被请求的N个可缓存请求。

14.根据权利要求11所述的系统，其中所述输出在所述数据存储库中保留预定时间段。

15.根据权利要求14所述的系统，其中所述时间段由所述AI计算机确定为所述输出的一部分。

16.根据权利要求11所述的系统，其中所述输出从所述编排服务计算机接收。

17.根据权利要求11所述的系统，其中所述一组可缓存请求由所述AI计算机确定。

18.根据权利要求11所述的系统，其中所述调用预测处理计算机经由所述编排服务计算机将所述可缓存请求发送给所述AI计算机。