[发明专利]语料扩充方法、装置、设备和介质

说明书

本公开提供了一种语料扩充方法、装置、设备和介质，涉及人工智能技术领域，尤其涉及自然语言处理技术领域。实现方案为：提取至少一条未标注语料中的每条未标注语料的第一特征向量和标注语料的第二特征向量；基于标注语料的第二特征向量，生成标注语料的一个或多个扰动向量；基于标注语料的第二特征向量和一个或多个扰动向量，从至少一条未标注语料中确定与标注语料相匹配的一个或多个未标注语料，其中，相匹配的一个或多个未标注语料中每一个未标注语料的第一特征向量与一个或多个扰动向量和标注语料的第二特征向量中的至少一个相匹配；以及将与标注语料匹配的未标注语料保存至标注语料所属的类别的集合，作为标注语料的扩充语料。

技术领域

本公开涉及人工智能技术领域，尤其涉及自然语言处理技术领域，具体涉及一种语料扩充方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术

人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术:人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

文本分类是自然语言分类中常见的一种任务，该任务广泛应用于内容分拣、内容推荐与内容搜索等文本应用场景。文本分类的效果好坏取决于训练的语料。但是，由于文本分类的训练需要大量的训练语料，且不同业务场景的语料具有多样性，对训练语料进行标注的工作量较大。因此，期望提供一种通过机器手段扩充文本分类的训练语料的方法。

在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

发明内容

本公开提供了一种语料扩充方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

根据本公开的一方面，提供了一种语料扩充方法，包括：提取至少一条未标注语料中的每条未标注语料的第一特征向量和标注语料的第二特征向量；基于标注语料的第二特征向量，生成标注语料的一个或多个扰动向量；基于标注语料的第二特征向量和一个或多个扰动向量，从至少一条未标注语料中确定与标注语料相匹配的一个或多个未标注语料，其中，相匹配的一个或多个未标注语料中每一个未标注语料的第一特征向量与一个或多个扰动向量和标注语料的第二特征向量中的至少一个相匹配；以及将与标注语料匹配的未标注语料保存至标注语料所属的类别的集合，作为标注语料的扩充语料。

根据本公开的另一方面，提供了一种语料扩充装置，包括：一种语料扩充装置，包括：向量提取模块，被配置为：提取至少一条未标注语料中的每条未标注语料的第一特征向量和标注语料的第二特征向量；扰动模块，被配置为：基于标注语料的第二特征向量，生成标注语料的一个或多个扰动向量；搜索模块，被配置为：基于标注语料的第二特征向量和一个或多个扰动向量，从至少一条未标注语料中确定与标注语料相匹配的一个或多个未标注语料，其中，相匹配的一个或多个未标注语料中每一个未标注语料的第一特征向量与一个或多个扰动向量和标注语料的第二特征向量中的至少一个相匹配；以及归类模块，被配置为：将与标注语料匹配的未标注语料保存至标注语料所属的类别的集合，作为标注语料的扩充语料。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如本公开所述的语料扩充方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如本公开所述的语料扩充方法。