[发明专利]输出回复信息的方法、深度学习模型的训练方法及装置

说明书

本发明公开一种输出回复信息的方法、深度学习模型的训练方法及装置，该方法包括：获取待回复信息；对所述待回复信息进行维度转化，以降低所述待回复信息的向量维度，获得低维信息；采用深度学习模型，计算所述低维信息，以生成回复信息；输出所述回复信息。本申请提供的方法和装置可以解决现有技术中的深度学习模型，存在的参数复杂，计算量大的技术问题。实现了减少模型参数占用的内存空间和模型计算量，从而降低深度学习模型对硬件的要求的技术效果。

技术领域

本发明涉及计算机技术领域，尤其涉及一种输出回复信息的方法、深度学习模型的训练方法及装置。

背景技术

深度学习的概念源于人工神经网络的研究，通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征。深度学习是机器学习研究中的一个新领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据。

当前，深度学习模型由于其良好的学习能力，被广泛应用于线上的服务以提升服务性能。以智能回复为例，利用深度学习模型可以在受限领域达到比较好的效果。但是多数深度学习模型由于其模型复杂(需要几十万甚至更多的模型参数)以及计算量大，只能在服务端通过高性能服务器甚至图形处理器(Graphics Processing Unit，GPU)为用户提供服务。并且将用户数据上传至服务端也会带来让用户担忧的隐私问题。

可见，现有技术中的深度学习模型，存在参数复杂，计算量大的技术问题。

发明内容

本发明实施例提供一种输出回复信息的方法、深度学习模型的训练方法及装置，用于解决现有技术中的深度学习模型，存在的参数复杂，计算量大的技术问题。第一方面，本发明实施例提供一种输出回复信息的方法，包括：

获取待回复信息；

对所述待回复信息进行维度转化，以降低所述待回复信息的向量维度，获得低维信息；

采用深度学习模型计算所述低维信息，以生成回复信息。

结合第一方面，在第一种可选的实施例中，所述对所述待回复信息进行维度转化，以降低所述待回复信息的向量维度，获得低维信息，包括：通过嵌入层对所述待回复信息进行维度转化，以降低所述待回复信息的向量维度，获得所述低维信息，其中，所述嵌入层位于所述深度学习模型的输入层与隐藏层之间；在所述获得低维信息之后，还包括：将所述低维信息输入所述隐藏层；所述采用深度学习模型计算所述低维信息，包括：采用深度学习模型在所述隐藏层计算所述低维信息。

结合第一方面，在第二种可选的实施例中，所述对所述待回复信息进行维度转化，以降低所述待回复信息的向量维度，获得低维信息，包括：将所述待回复信息转换为用向量表示的输入向量；降低所述输入向量的向量维度，以获得所述低维信息。

结合第一方面，在第三种可选的实施例中，在所述对所述待回复信息进行维度转化之前，还包括：对所述待回复信息以字符为单位进行划分；所述对所述待回复信息进行维度转化，包括：对划分后的所述待回复信息逐字符进行维度转化；所述采用深度学习模型计算所述低维信息，以生成回复信息，包括：基于所述深度学习模型中的词表，逐字符计算所述低维信息，以生成回复信息，其中，所述词表为以字符为单位训练生成的词表。

结合第一方面的第三种可选的实施例，在第四种可选的实施例中，所述词表是以问答对为训练样本，将所述问答对以字符为单位拆分后逐字符训练生成的词表。

结合第一方面的第四种可选的实施例，在第五种可选的实施例中，所述词表为将所述问答对以字符为单位拆分，按预设规则筛选出有效字符组后，对所述有效字符组逐字符训练生成的词表。

结合第一方面的第三种可选的实施例，在第六种可选的实施例中，所述逐字符计算所述低维信息，包括：按倒序的顺序逐字符计算所述低维信息。