[发明专利]一种面向搜索引擎的数据处理方法及装置

摘要

本发明公开了一种面向搜索引擎的数据处理方法及装置，所述方法包括：获取搜索词；对所述搜索词进行分词，得到所述搜索词的词素集合；对所述词素集合中的词素进行组合，得到候选新词；在预置的标准语料库中对所述候选新词进行全包含搜索，若搜索到所述候选新词，则判定所述候选新词为未登录词。同时，本发明还公开了一种实现上述方法的装置。本发明公开的方法及装置通过对用户行为的分析，完成未登陆词发现，降低了现有的未登录词的发现方法对于既有词法的依赖以及特定应用场合的束缚，提高了未登录词发现结果的准确性。

主权项

1.一种面向搜索引擎的数据处理方法，其特征在于，包括：获取搜索词；对所述搜索词进行分词，得到所述搜索词的词素集合；对所述词素集合中的词素进行组合，得到候选新词；在预置的标准语料库中对所述候选新词进行全包含搜索，若搜索到所述候选新词，则判定所述候选新词为未登录词，其中所述预置的标准语料库存储的是相关行业的标准信息；所述对所述词素集合的词素进行组合，得到候选新词具体包括：判断所述词素集合中是否包括单字词素，如果包括，则当所述词素集合中的分词均为单字词素时，将所述词素集合对应的搜索词作为候选新词；当所述词素集合中有连续的单字词素和非单字词素时，将所述连续的单字词素进行组合，得到第一组合词素，并将所述连续的单字词素及其相邻的非单字词素进行组合，得到第二组合词素；在预置的搜索词搜索频率记录中，获取所述第一组合词素及第二组合词素的搜索频率，选择搜索频率高的一个组合词素作为候选新词；当所述词素集合中有单个的单字词素与非单字词素相邻时，将所述单字词素与其相邻的非单字词素进行组合，得到第三组合词素；在预置的搜索词搜索频率记录中，获取所述非单字词素与所述第三组合词素的搜索频率，并选择搜索频率高的一个组合词素作为候选新词。