[发明专利]序列标注方法、装置、电子设备和存储介质

说明书

本发明提供一种序列标注方法、装置、电子设备和存储介质，其中方法包括：确定待标注文本；将待标注文本输入序列标注模型，得到序列标注模型输出的标注结果；序列标注模型是基于教师模型和学生模型之间的隐藏层对应关系，应用教师模型对学生模型中的各隐藏层进行知识迁移得到的，隐藏层对应关系是基于教师模型中的各组隐藏层与学生模型中的各隐藏层之间的相似度确定的。本发明提供的方法、装置、电子设备和存储介质，在保证教师模型和学生模型选取的灵活的同时性，提高了知识迁移效率，保证了知识迁移的可靠性，由此得到的序列标注模型，能够满足工业场景需求的高可靠性和低时延、低耗能，有助于自动化的序列标注的应用扩展。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种序列标注方法、装置、电子设备和存储介质。

背景技术

序列标注(Sequence Tagging)作为基础的自然语言处理(Natural LanguageProcessing，NLP)任务，可用于解决一系列对字符进行分类的问题，例如分词、词性标注、命名实体识别、关系抽取等。

目前，用于解决序列标注任务的方法有最大熵模型、隐马尔可夫(Hidden MarkovModel，HMM)模型和条件随机场(Conditional Random Field，CRF)模型等。上述模型虽然能够满足工业应用下推理结果准确的要求，但是受限于模型参数大、算子复杂，难以满足工业应用下推理时延低、能耗小的要求。

发明内容

本发明提供一种序列标注方法、装置、电子设备和存储介质，用以解决现有技术中用于序列标注的模型推理时延大、计算资源损耗大的问题。

本发明提供一种序列标注方法，包括：

确定待标注文本；

将所述待标注文本输入序列标注模型，得到所述序列标注模型输出的标注结果；

所述序列标注模型是基于教师模型和学生模型之间的隐藏层对应关系，应用所述教师模型对所述学生模型中的各隐藏层进行知识迁移得到的，所述隐藏层对应关系是基于所述教师模型中的各组隐藏层与所述学生模型中的各隐藏层之间的相似度确定的。

根据本发明提供的一种序列标注方法，所述序列标注模型是基于如下步骤得到的：

基于所述教师模型中的各组隐藏层与所述学生模型中的各隐藏层之间的相似度，确定当前的隐藏层对应关系；

基于所述当前的隐藏层对应关系，应用所述教师模型对所述学生模型中的各隐藏层进行知识迁移，得到知识迁移后的学生模型，并将知识迁移后的学生模型作为学生模型，更新所述教师模型中的各组隐藏层与所述学生模型中的各隐藏层之间的相似度，直至知识迁移完成，得到所述序列标注模型。

根据本发明提供的一种序列标注方法，所述将知识迁移后的学生模型作为学生模型，更新所述教师模型中的各隐藏层与所述学生模型中的各隐藏层之间的相似度，直至知识迁移完成，得到所述序列标注模型，包括：

将知识迁移后的学生模型作为学生模型，更新所述教师模型中的各组隐藏层与所述学生模型中的各隐藏层之间的相似度，直至所述当前的隐藏层对应关系固定；

基于固定的隐藏层对应关系，应用所述教师模型对所述学生模型中的各隐藏层进行知识迁移，直至知识迁移完成，得到所述序列标注模型。

根据本发明提供的一种序列标注方法，所述应用所述教师模型对所述学生模型中的各隐藏层进行知识迁移，包括：

基于维度转换参数，将所述教师模型中的各组隐藏层的第一输出和所述学生模型中的各隐藏层的第二输出转换至相同维度，所述维度转换参数是基于所述教师模型的模型宽度和所述学生模型的模型宽度确定的；

基于维度转换后的第一输出和第二输出，对所述学生模型中的各隐藏层进行知识迁移。