[发明专利]数据处理方法、装置及电子设备

说明书

本发明实施例提供一种数据处理方法、装置及电子设备，其中，该方法应用于深度学习模型的嵌入层中，嵌入层包括第一参数矩阵和第二参数矩阵，第一参数矩阵与第二参加矩阵的乘积作为嵌入层的向量字典，该方法包括：接收输入数据，在第一参数矩阵中获取与该输入数据对应的第一特征向量；将该第一特征向量与第二参数矩阵进行矩阵乘法，生成第二特征向量；将该第二特征向量作为输入数据对应的特征向量进行输出。本发明实施例利用矩阵分解的特性将嵌入层中庞大的参数矩阵分解为小矩阵的乘积，从而减少了参数矩阵的存储空间，进而也减小了整个深度学习模型的存储空间。

技术领域

本申请涉及一种数据处理方法、装置及电子设备，属于计算机技术领域。

背景技术

深度学习技术在图像、语音、文本等领域都取得了巨大的成功，推动了一系列智能产品发展。尤其在搜索、广告、推荐等场景取得了很大的突破。但是，深度学习模型存在参数矩阵庞大，导致模型所占空间较大，严重占用存储资源。

发明内容

本发明实施例提供一种数据处理方法、装置及电子设备，以压缩深度学习模型中嵌入层参数矩阵所占的存储空间。

为了实现上述目的，本发明实施例提供了一种数据处理方法，该方法应用于深度学习模型的嵌入层中，所述嵌入层包括第一参数矩阵和第二参数矩阵，所述第一参数矩阵与第二参数矩阵的乘积作为所述嵌入层的向量字典，该方法包括：

接收输入数据，并在第一参数矩阵中获取与该输入数据对应的第一特征向量；

将该第一特征向量与第二参数矩阵进行矩阵乘法，生成第二特征向量；

将该第二特征向量作为所述输入数据对应的特征向量进行输出。

本发明实施例还提供了一种数据处理装置，该装置设置于深度学习模型的嵌入层中，其包括：

输入数据接收模块，用于接收输入数据；

参数矩阵存储模块，用于存储第一参数矩阵和第二参数矩阵，所述第一参数矩阵与第二参数矩阵的乘积作为所述嵌入层的向量字典；

特征向量获取模块，用于在第一参数矩阵中获取与该输入数据对应的第一特征向量，并将该第一特征向量与第二参数矩阵进行矩阵乘法，生成第二特征向量；

向量输出模块，用于将该第二特征向量作为所述输入数据对应的特征向量进行输出。

本发明实施例还提供了一种电子设备，包括：

存储器，用于存储程序；

处理器，耦合至所述存储器，用于执行所述程序，该程序应用于针对深度学习模型的嵌入层所进行的处理，该嵌入层包括第一参数矩阵和第二参数矩阵，所述第一参数矩阵与第二参数矩阵的乘积作为所述嵌入层的向量字典，所述处理包括：

接收输入数据，在第一参数矩阵中获取与该输入数据对应的第一特征向量；

将该第一特征向量与第二参数矩阵进行矩阵乘法，生成第二特征向量；

将该第二特征向量作为所述输入数据对应的特征向量进行输出。

本发明实施例还提供了一种数据处理方法，该方法应用于语义分析模型的词嵌入层中，所述词嵌入层包括第一参数矩阵和第二参数矩阵，所述第一参数矩阵与第二参数矩阵的乘积作为所述词嵌入层的词向量字典，该方法包括：

接收输入文本数据，并在第一参数矩阵中获取与该输入文本数据对应的第一特征向量；

将该第一特征向量与第二参数矩阵进行矩阵乘法，生成第二特征向量；

将该第二特征向量作为所述输入文本数据对应的语义特征向量进行输出。

本发明实施例还提供了一种电子设备，包括：