[发明专利]文本处理方法、电子设备及计算机存储介质

说明书

本申请实施例提供了一种文本处理方法、电子设备及计算机存储介质，属于计算机计算领域，文本处理方法，包括：获得文本训练样本，其中，文本训练样本包括模板文本和变量文本；使用预先训练完成的自编码器对文本训练样本进行文本重构，得到对应的重构结果；根据重构结果与文本训练样本的差异，获得文本训练样本中各字符属于模板文本的第一概率；根据文本训练样本和第一概率，对用于进行模板文本标注的模板识别模型进行训练。本实施例提供的方案，可以利用自编码器的重构特性，确定文本训练样本的各字符属于模板文本的概率，并据此训练用于进行模板文本标注的模板识别模型，不局限于特定变量类型、也不需要标注样本，通用性较高。

技术领域

本申请实施例涉及计算机技术领域，尤其涉及一种文本处理方法、电子设备及计算机存储介质。

背景技术

短信作为一种常见的信息载体，经常被用户用作进行批量通知的工具，短信的内容一般会根据预设的短信模板生成。使得基于短信模板可以批量管理短信，例如，对短信进行批量审核、加黑、拉白等，能够减少大量的冗余操作。

但是，由于短信模板多种多样，大量的短信没有存储对应的短信模板，导致管理难度增大。为此，需要通过训练处的神经网络模型来识别出短信对应的模板。

目前，神经网络模型的训练一般采用标注出变量文本的短信原文作为训练样本，对神经网络模型进行监督训练。但是，由于能够标注出的变量文本的种类有限，导致训练处的神经网络模型存在长尾效应；另外，由于短信模板不断增加，导致采用监督训练的方式效率较低。

发明内容

有鉴于此，本申请实施例提供一种文本处理方案，以至少部分解决上述问题。

根据本申请实施例的第一方面，提供了一种文本处理方法，包括：获得文本训练样本，其中，所述文本训练样本包括模板文本和变量文本；使用预先训练完成的自编码器对所述文本训练样本进行文本重构，得到对应的重构结果；根据所述重构结果与所述文本训练样本的差异，获得所述文本训练样本中各字符属于所述模板文本的第一概率；根据所述文本训练样本和所述第一概率，对用于进行模板文本标注的模板识别模型进行训练。

根据本申请实施例的第二方面，提供了一种文本处理方法，包括：获得目标文本，其中，所述目标文本包括模板文本和变量文本；将所述目标文本输入至模板识别模型，其中，所述模板识别模型通过如上所述的方法训练得到；通过所述模板识别模型对所述目标文本进行模板文本标注，根据标注结果确定所述目标文本中的模板文本。

根据本申请实施例的第三方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面或者第二方面所述方法对应的操作。

根据本申请实施例的第四方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面或者第二方面所述的方法。

根据本申请实施例提供的文本处理方案，通过获得文本训练样本，其中，所述文本训练样本包括模板文本和变量文本；使用预先训练完成的自编码器对所述文本训练样本进行文本重构，得到对应的重构结果；根据所述重构结果与所述文本训练样本的差异，获得所述文本训练样本中各字符属于所述模板文本的第一概率；根据所述文本训练样本和所述第一概率，对用于进行模板文本标注的模板识别模型进行训练，本实施例提供的方案，可以利用自编码器的重构特性，确定文本训练样本的各字符属于模板文本的概率，并据此训练用于进行模板文本标注的模板识别模型，不局限于特定变量类型、也不需要标注样本，仅需要采集到文本训练样本即可，通用性较高。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。