[发明专利]一种基于网页文本的新词查找系统及方法

摘要

本发明公开了一种基于网页文本的新词查找系统及方法，包括网页文本选取模块、网页文本预处理模块、新词发现模块和新词生成模块；其通过：A、选取网页文本的步骤；B、网页文本预处理的步骤；C、新词发现的实现步骤，包括进行串频统计、计算词串变化率、计算词串共现率以及进行父子串归并；D、实现新词过滤和剪枝策略的步骤，对生成的候选新词集合进行过滤，去除垃圾串。采用本发明，能够根据一段时间内词串出现频率的变化情况及词串的共现率，辅以过滤策略，不需构建语料库和特殊规则，即可简便易行地从网页文本中发现新词，以实现增量式新词发现。

主权项

一种基于网页文本的新词查找系统，其特征在于，主要包括网页文本选取模块、网页文本预处理模块、新词发现模块和新词生成模块；其中：网页文本选取模块，用于根据设置的定时新词发现的时间，定期从网页文本集合中获取定时间隔的这一段时间内的网页文本，并按照时间对选取的网页文本集合进行划分；网页文本预处理模块，用于解析出网页文本的时间信息并保存，定义小说、影视类专名识别规则，识别出文本中的专名信息，并对网页文本进行分词处理。