[发明专利]一种类别新词的挖掘方法及装置

说明书

【技术领域】

本发明涉及自然语言处理技术，特别涉及一种类别新词的挖掘方法及装置。

【背景技术】

随着互联网广泛使用，在搜索领域涌现出越来越多的新词。所谓新词，就是未被词库收录的词。识别新词，对搜索引擎理解用户的行为，提高搜索结果的准确度而言非常重要。为了识别用户输入的新词，需要利用已有的用户查询数据对新词进行挖掘。现有的新词挖掘方法虽然能够将未在词库中出现过的词挖掘出来作为新词，但是挖掘出来的词缺乏能够反映使用场景的类别信息。而词语的使用通常是与场景结合的，失去了词语的使用场景，词语的含义就不完整。想要了解新词的使用场景，在现有的挖掘技术下，必须对挖掘到的新词重新进行分类，但是对一个缺乏上下文的新词进行分类是十分困难的。例如一个词语“苹果”在没有上下文信息的情况下，很难确定这个词指的是水果还是品牌。也就是说，现有的新词挖掘方法，只能挖掘到新词，却无法得知挖掘到的新词所属类别信息，如果想要得知挖掘到的新词所属类别，还需要采用其他的分类技术对挖掘到的新词进行分类，即现有技术无法实现一次性地挖掘带有类别信息的新词。

【发明内容】

本发明所要解决的技术问题是提供一种类别新词的挖掘方法及装置，以解决现有技术无法实现一次性地挖掘带有类别信息的新词这一缺陷。

本发明为解决技术问题而采用的技术方案是提供一种类别新词的挖掘方法，包括：获取与特定类别的URL模版匹配的URL及与获取的URL对应的query；利用获取的URL及与获取的URL对应的query生成query簇；从各query簇中挖掘新词作为所述特定类别的新词。

根据本发明之一优选实施例，所述特定类别的URL模版是通过下列方式得到的：利用搜索日志中记录的URL生成URL模版；对生成的URL模版进行分类，得到至少一个特定类别的URL模版。

根据本发明之一优选实施例，利用搜索日志中记录的URL生成URL模版的步骤包括：针对搜索日志中的每个URL，将该URL中第m个分隔符后由分隔符分隔形成的各个不包含分隔符的部分轮流替换成通配符，每替换一个通配符得到一个与该URL对应的URL模版，并将通过搜索日志中的所有URL得到的不完全相同的URL模版作为候选URL模版，其中m为大于或等于1且不超过该URL中最后一个分隔符所处位置的整数；针对每个候选URL模版，根据搜索日志中与该候选URL模版匹配的URL中被该候选URL模版的通配符所覆盖部分的属性对该候选URL模版的通配符进行限定，使得该候选URL模版的通配符表示的含义与所述属性一致，以得到最终的URL模版，其中所述属性包括纯数字、纯字母，或者，数字与字母混合。

根据本发明之一优选实施例，利用搜索日志中记录的URL生成URL模版的步骤进一步包括：在对候选URL模版中的通配符进行限定前，将在搜索日志中所覆盖的URL数量不满足要求的候选URL模版过滤掉。

根据本发明之一优选实施例，利用搜索日志中记录的URL生成URL模版的步骤进一步包括：对最终的URL模版中冗余或存在包含关系的URL模版进行归一化处理。

根据本发明之一优选实施例，对生成的URL模版进行分类的步骤包括：对生成的每个URL模版，在搜索日志中确定该URL模版对应的每个query-URL对中的query所属类别，将搜索日志中记录的该query-URL对被点击的次数累计到该query-URL对中的query所属类别的点击次数中，并在该URL模版对应的所有query-URL对的点击次数均已累计到各个类别后，将点击次数最高的类别作为该URL模版所属类别，其中该URL模版对应的query-URL对是该URL模版在搜索日志中覆盖的URL及该URL对应的query所形成的对。

根据本发明之一优选实施例，利用获取的URL及与获取的URL对应的query生成query簇的步骤包括：将与获取的同一URL对应的若干query聚为一个query簇。

根据本发明之一优选实施例，利用获取的URL及与获取的URL对应的query生成query簇的步骤包括：将与获取的URL中主题相同的URL对应的若干query聚为一个query簇。

根据本发明之一优选实施例，利用获取的URL及与获取的URL对应的query生成query簇的步骤进一步包括：从得到的query簇中过滤掉对应的URL在搜索日志中的点击总次数不满足要求的query簇。