[发明专利]使用一个或更多个神经网络的指令生成

权利要求书

1.一种处理器，包括：

一个或更多个电路，所述一个或更多个电路使用一个或更多个神经网络来生成文本，所述文本指示在视频中执行的处理步骤。

2.根据权利要求1所述的处理器，其中所述一个或更多个神经网络确定所述视频的各个帧的内容，并确定所确定的内容的双向上下文。

3.根据权利要求2所述的处理器，其中所述一个或更多个神经网络利用所述双向上下文将所述各个帧划分为逻辑步骤的序列，所述逻辑步骤的序列对应于在所述视频中执行的所述处理步骤。

4.根据权利要求2所述的处理器，其中所述一个或更多个神经网络包括一个或更多个卷积神经网络(CNN)，所述卷积神经网络用于确定所述各个帧的所述内容，以及一个或更多个注意力网络，所述注意力网络用于将所述各个帧划分为所述逻辑步骤的序列。

5.根据权利要求2所述的处理器，其中所述一个或更多个神经网络进一步使用所述双向上下文和与所述步骤相对应的所述各个帧的所确定的内容来推理所述处理步骤的所述文本。

6.根据权利要求1所述的处理器，其中所述一个或更多个电路进一步将所述文本翻译或编译成对执行所述处理有用的格式。

7.一种系统，包括：

一个或更多个处理器，所述一个或更多个处理器使用一个或更多个神经网络来生成文本，所述文本指示在视频中执行的处理步骤。

8.根据权利要求7所述的系统，其中所述一个或更多个神经网络确定所述视频的各个帧的内容，并确定所确定的内容的双向上下文。

9.根据权利要求8所述的系统，其中所述一个或更多个神经网络利用所述双向上下文将所述各个帧划分为逻辑步骤的序列，所述逻辑步骤的序列对应于在所述视频中执行的所述处理步骤。

10.根据权利要求8所述的系统，其中所述一个或更多个神经网络包括一个或更多个卷积神经网络(CNN)，所述卷积神经网络用于确定所述各个帧的所述内容，以及一个或更多个注意力网络，所述注意力网络用于将所述各个帧划分为所述逻辑步骤的序列。

11.根据权利要求8所述的系统，其中所述一个或更多个神经网络进一步使用所述双向上下文和与所述步骤相对应的所述各个帧的所确定的内容来推理所述处理步骤的所述文本。

12.根据权利要求7所述的系统，其中所述一个或更多个处理器进一步将所述文本翻译或编译成对执行所述处理有用的格式。

13.一种方法，包括：

使用一个或更多个神经网络来生成文本，所述文本指示在视频中执行的处理步骤。

14.根据权利要求13所述的方法，其中所述一个或更多个神经网络确定所述视频的各个帧的内容，并确定所确定的内容的双向上下文。

15.根据权利要求14所述的方法，其中所述一个或更多个神经网络利用所述双向上下文将所述各个帧划分为逻辑步骤的序列，所述逻辑步骤的序列对应于在所述视频中执行的所述处理步骤。

16.根据权利要求14所述的方法，其中所述一个或更多个神经网络包括一个或更多个卷积神经网络(CNN)，所述卷积神经网络用于确定所述各个帧的所述内容，以及一个或更多个注意力网络，所述注意力网络用于将所述各个帧划分为所述逻辑步骤的序列。

17.根据权利要求14所述的方法，其中所述一个或更多个神经网络进一步使用所述双向上下文和与所述步骤相对应的所述各个帧的所确定的内容来推理所述处理步骤的所述文本。