[发明专利]实时数据处理方法

权利要求书

1.一种实时数据处理方法，其特征在于，包括：

获取农机在当前时刻的当前状态信息；

将所述当前状态信息构造为输入向量并将所述输入向量输入基于第一深度神经网络的编码器，以获得编码特征向量；

通过所述农机的摄像头，获取当前时刻的场景图像；

提取出所述场景图像中的保留部分和非保留部分，其中，所述保留部分对应于所述场景图像中的农作物对象，所述非保留部分对应于所述场景中的路况对象；

将所述非保留部分通过深度卷积神经网络，以获得路况特征图；

将所述编码特征向量与所述路况特征图进行矩阵相乘，以将所述路况特征图中的特征映射到所述编码特征向量所在的特征空间中，以获得更新的编码特征向量；

将所述更新的编码特征向量输入基于第二深度神经网络的解码器，以获得解码向量，其中，所述解码向量的各个位置的特征值对应于所述农机在下一时刻的状态信息；以及删除所述场景图像中的非保留部分，并实时存储被删除非保留部分的所述场景图像。

2.根据权利要求1所述的实时数据处理方法，其中，提取出所述场景图像中的保留部分和非保留部分，包括：

对所述场景图像进行图像语义分割处理，以提取出所述场景图像中的保留部分和非保留部分。

3.根据权利要求1所述的实时数据处理方法，其中，提取出所述场景图像中的保留部分和非保留部分，包括：

通过第一候选框框选出所述场景图像中的保留部分；以及

通过第二候选框框选出所述场景图像中的非保留部分。

4.根据权利要求1所述的实时数据处理方法，其中，所述路况特征图与所述编码特征向量具有相同的概率分布。

5.根据权利要求4所述的实时数据处理方法，其中，在训练过程中，计算所述路况特征图和所述编码特征向量之间的交叉熵损失函数值，并以所述交叉熵损失函数值来训练所述深度卷积神经网络。

6.根据权利要求1所述的实时数据处理方法，其中，所述深度神经网络为深度残差网络。

7.根据权利要求1所述的实时数据处理方法，其中，所述状态信息包括车辆坐标、俯仰角、偏航角、滚转角、变化速度和变化加速度。

8.一种实时数据处理与存储系统，其特征在于，包括：

当前状态信息获取单元，用于获取农机在当前时刻的当前状态信息；

编码特征向量生成单元，用于将所述当前状态信息获取单元获得的所述当前状态信息构造为输入向量并将所述输入向量输入基于第一深度神经网络的编码器，以获得编码特征向量；

场景图像获取单元，用于通过所述农机的摄像头，获取当前时刻的场景图像；

图像提取单元，用于提取出所述场景图像获取单元获得的所述场景图像中的保留部分和非保留部分，其中，所述保留部分对应于所述场景图像中的农作物对象，所述非保留部分对应于所述场景中的路况对象；

路况特征图生成单元，用于将所述图像提取单元获得的所述非保留部分通过深度卷积神经网络，以获得路况特征图；

更新编码特征向量生成单元，用于将所述编码特征向量生成单元获得的所述编码特征向量与所述路况特征图生成单元获得的所述路况特征图进行矩阵相乘，以将所述路况特征图中的特征映射到所述编码特征向量所在的特征空间中，以获得更新的编码特征向量；

解码向量生成单元，用于将所述更新编码特征向量生成单元获得的所述更新的编码特征向量输入基于第二深度神经网络的解码器，以获得解码向量，其中，所述解码向量的各个位置的特征值对应于所述农机在下一时刻的状态信息；以及

实时存储单元，用于删除所述场景图像获取单元获得的所述场景图像中的非保留部分，并实时存储被删除非保留部分的所述场景图像。

9.根据权利要求8所述的实时数据处理与存储系统，其中，所述图像提取单元，包括：

保留部分选取单元，用于通过第一候选框框选出所述场景图像中的保留部分；以及

非保留部分选取单元，用于通过第二候选框框选出所述场景图像中的非保留部分。

10.一种电子设备，包括：

处理器；以及

存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-7中任一项所述的实时数据处理方法。