[发明专利]一种基于网页内容分类进行分词处理的方法和装置

说明书

技术领域

本发明涉及搜索的技术领域，特别是涉及一种基于网页内容类别进行分词处理的方法和一种基于网页内容类别进行分词处理的装置。

背景技术

随着互联网的高速发展，网络应用趋向多元化，网上的信息量急剧增加。

在各种场合下，用户经常需要输入关键信息进行关联信息的获取。例如，在搜索引擎中输入关键词搜索网页信息、在论坛中输入关键词搜索帖子等等。

分词是进行信息处理、信息检索的基础，所有的信息处理、信息检索工作都是在分词之后进行的。所以分词的错误会被叠加到后续的处理过程中，而且很难被消除。正因为这样所以对分词的准确率的追求是个持续的过程，同时由于中文语言的固有的特性：没有明确的词的定义、词和词之间没有分隔符、新词、专有名词不断涌现等这些因素导致分词很难做到100%的准确。

当前分词系统使用的主要方法是基于统计的分词。从形式上看，词是稳定的字的组合，因此在上下文中，相邻的字同时出现的次数越多，就越有可能构成一个词。因此字与字相邻共现的频率或概率能够较好的反映成词的可信度。可以对语料中相邻共现的各个字的组合的频度进行统计，计算它们的互现信息。定义两个字的互现信息，计算两个汉字X、Y的相邻共现概率。互现信息体现了汉字之间结合关系的紧密程度。当紧密程度高于某一个阈值时，便可认为此字组可能构成了一个词。这种方法只需对语料中的字组频度进行统计，但这种方法也有一定的局限性，会经常抽出一些共现频度高、但并不是词的常用字组，例如“这一”、“之一”、“有的”、“我的”、“许多的”等，并且对常用词的识别精度差，时空开销大。

一方面，分词的结果错误致使后期获取的关联信息与当初的预期有很大差别，用户体验十分差，浪费了设备系统资源。另一方面，用户需要获取关联信息，会再次输入关键信息进行搜索，设备要再次进行海量信息的搜索、对比、筛选等获取与搜索关键词相关的信息，不仅用户操作更加繁琐，耗费用户的时间，而且将大大增加设备的负担，耗费更多的设备资源。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于网页内容类别进行分词处理的方法和相应的一种基于网页内容类别进行分词处理的装置。

依据本发明的一个方面，提供了一种基于网页内容类别进行分词处理的方法，包括：

提取搜索资源中网页内容的文本信息；

依据所述网页内容类别划分所述文本信息所属类别；

按照所述文本信息所属类别对应的分词词典，对所述文本信息进行分词处理。

可选地，还包括：

针对所述类别，采用分词处理获得的第一分词建立倒排索引。

可选地，所述针对所述类别，采用分词处理获得的第一分词建立倒排索引的步骤包括：

针对所述类别，记录出现的所述类别对应的第一分词的出现位置；

将所述第一分词及其对应的出现位置记录在倒排索引中。

可选地，所述分词词典通过以下方式生成：

获取第一训练文档；

划分所述第一训练文档所属类别；

对所述类别对应的所述第一训练文档进行分词处理，获得第二分词；

统计所述类别对应的所述第二分词的词频数和第一同现率；

采用所述第二分词及其第一同现率生成所述类别对应的分词词典。

可选地，所述第一同现率包括第一词频数与第二词频数的比值；

其中，所述第一词频数包括当前第二分词出现在目标第二分词之后的词频数；所述目标第二分词包括出现在当前环境分词之前的一个或多个第二分词；

所述第二词频数包括所述目标第二分词总的词频数。

可选地，所述分词词典通过以下方式更新：

获取第二训练文档；

划分所述第二训练文档所属的类别；

按照所述类别对应的分词词典，对所述文本信息进行分词处理，获得第三分词

统计所述类别对应的所述第三分词的词频数和第二同现率；

采用所述第三分词及其第二同现率更新所述类别对应的分词词典。

可选地，所述第二同现率包括第三词频数与第四词频数的比值；

其中，所述第三词频数包括当前第三分词出现在目标第三分词之后的词频数；所述目标第三分词包括出现在当前环境分词之前的一个或多个第三分词；

所述第四词频数包括所述目标第三分词总的词频数。

可选地，所述按照所述文本信息所属类别对应的分词词典，对所述文本信息进行分词处理的步骤包括：