[发明专利]基于伪数据改进分词器以处理自然语言

摘要

提供了用于训练分词器(词语分割器)的技术。在一种技术中，分词器切分标记串以识别单独标记或词语。语言模型基于识别的标记或词语而生成。关于诸如个人或公司的实体的词汇表被识别。词汇表可以是涉及实体的在线数据，例如新闻文章或社交网络的成员的简档页面。词汇表中的一些标记可以具有高于其它标记的权重。语言模型接受加权的词汇表作为输入并生成伪句子。替代地，正规表达式被用来生成伪句子。伪句子被用来训练分词器。

主权项

一种方法，所述方法包括：从由在线社交网络服务维持的简档识别多个正确名称；将所述多个正确名称输入到语言模型中；通过所述语言模型基于所述多个正确名称生成多个句子；基于所述多个句子，对被配置成识别标记串内的标记的分词器进行训练；其中所述方法通过一个或多个计算设备执行。