[发明专利]文本处理方法、电子设备、对话系统和汽车

说明书

本发明涉及一种文本处理方法、电子设备、对话系统和汽车。根据本发明一个实施例的方法包括：将文本进行词嵌入得到词嵌入向量；获取任务标识符；将词嵌入向量和任务标识符输入已训练的转换标记模型，得到任务类型和转换标记，其中转换标记包括表征文本中需要转换部分的第一转换标记和表征文本中不需要转换部分的第二转换标记；将任务类型以及第一转换标记对应的文本部分进行融合，得到融合信息；将融合信息输入已训练的文本转换模型，根据任务类型对待转换文本部分进行对应转换得到转换结果。通过本发明可以实现同时支持文本标准化与逆文本标准化以及文本标准化与逆文本标准化两个任务的准确度同步提升。

技术领域

本发明涉及自然语言处理领域，尤其涉及一种文本处理方法、电子设备、对话系统和汽车。

背景技术

自动驾驶中的智能数据座舱对话系统包含了语音识别、自然语言处理和语音合成等模块，这些模块使用的文本往往需要经过一些处理来方便建模和提高易读性，其中文本标准化(TN)与逆文本标准化(ITN)发挥了重要作用。文本标准化的作用是实现文本手写格式到口语格式转换，例如将一句汉语中的阿拉伯数字信息转换为汉字信息，主要用于语音合成的预处理过程。而逆文本标准化则是其逆过程，在获取到识别文本后，为了便于用户阅读，将汉字信息转为更易被用户读取的形式，主要用于语音识别后的处理阶段，例如对语音识别后的文本通过映射规则对照表将汉字转换为对应的数字信息。

文本标准化与逆文本标准化均已有比较成熟的方案，但是它们的目标只是解决这两项任务中的一项，无法实现同时解决这两项任务，这增加了对话系统的整体复杂度以及系统的维护成本。

发明内容

为了解决上述技术问题，本发明提出一种文本处理方法、电子设备、对话系统、存储介质以及汽车，以实现一体化地完成对文本信息进行逆文本标准化和文本标准化的处理。

在第一方面，本发明提供一种文本处理方法，包括：

将文本进行词嵌入得到词嵌入向量；

获取任务标识符；

将所述词嵌入向量和所述任务标识符输入已训练的转换标记模型，得到任务类型和转换标记，其中所述转换标记包括表征所述文本中需要转换部分的第一转换标记和表征所述文本中不需要转换部分的第二转换标记；

将所述任务类型以及所述第一转换标记对应的文本部分进行融合，得到融合信息；

将所述融合信息输入已训练的文本转换模型，根据所述任务类型对所述待转换文本部分进行对应转换得到转换结果。

在一个具体实施方式中，所述获取任务标识符包括：

获取所述文本待应用的场景，其中所述待应用的场景包括需要文本标准化对应的第一场景和需要逆文本标准化对应的第二场景；

根据待应用的场景确定所述任务标识符，其中所述任务标识符包括对应第一场景的第一标识符和对应第二场景的第二标识符。

在一个具体实施方式中，所述将所述词嵌入向量和所述任务标识符输入已训练的转换标记模型，得到任务类型和转换标记，包括：

将所述词嵌入向量和所述任务标识符输入已训练的转换标记模型，得到标记序列，其中所述标记序列包括任务类型位和转换标记位；

其中，在所述任务类型位上的任务类型包括与所述第一标识符对应的文本标准化任务以及与所述第二标识符对应的逆文本标准化任务；

其中，在所述转换标记位上的转换标记包括所述第一转换标记和所述第二转换标记。

在一个具体实施方式中，所述将所述任务类型以及所述第一转换标记对应的文本部分进行融合，得到融合信息，包括：

将所述任务类型、所述第一转换标记对应的文本部分以及所述第一转换标记对应的文本的上下文进行融合，得到融合信息。