[发明专利]一种网络新词识别方法

摘要

本发明提供的新词识别方法能够对重复串和文章关键词、超链接词、标点符号中间的词这些特殊格式的新词进行识别，因此能够很好地适应于网络新词的特点并将其识别出来，实验证明，本发明提供的新词识别方法能够有效地对网络新词进行识别。

主权项

1.一种网络新词识别方法，其特征在于：包括以下步骤：S1.使用网络蜘蛛对网页进行抓取，然后从抓取的网页中提取文本信息，并对提取文本信息进行预处理；S2.将文本信息中前后被空格隔开的候选新词提取出来，然后执行步骤S3；将文本信息中重复出现的候选新词提取出来，执行步骤S7；S3计算候选新词i的字串长度L，判断L是否大于1小于4，若是执行步骤S4，否则执行步骤S5；S4.判断候选新词i是否已经存储在词典中，若是则将候选新词i过滤掉，否则通过人工校对后将候选新词i添加入词典中；S5.判断候选新词i能否被分词词典切分，若是，则将候选新词i过滤掉，否则通过人工校对后将候选新词i添加入词典中；S6.令i＝i+1，然后执行步骤S3；S7.统计文本信息中候选新词j的左邻接词个数m和右邻接词个数n，判断m、n是否分别大于设定的阈值，若是则执行步骤S8，否则将候选新词j过滤掉；S8.统计候选新词j的构词强度，若构词强度大于所设定的阈值，则在通过人工校对后将候选新词j添加入词典中；否则将候选新词j过滤掉；S9.令j＝j+1然后执行步骤S7；所述步骤S8中，统计候选新词j构词强度的具体过程如下：(1)统计词首的构词强度：其中，L是词典的词条总数，Head(x,s)是二值函数，定义如下：(2)统计词中的构词强度：(3)统计词尾的构词强度：则候选新词j构词强度表示为：x₁、x₂、x_i表示字串中的字。