[发明专利]针对特定领域的新词发现方法

摘要

本发明提供一种针对特定领域的新词发现方法，包括以下步骤：步骤1，文档预处理；步骤2，构建候选新词集；其中，每个候选新词由词语、该词语距离所述中心词语的距离向量值以及所述中心词语均采用新词表述方式表达。步骤3，候选新词挖掘；优点为：针对特定领域的新词发现方法，采用更灵活的新词表达方式，将数据挖掘领域的关联规则方法引入新词发现过程，并创新地提出将词汇与指定关键词的距离向量作为关联规则挖掘的重要特征，由此可快速准确全面的识别出文档包含的所有新词。

主权项

1.一种针对特定领域的新词发现方法，其特征在于，包括以下步骤：步骤1，文档预处理：基于中文词库，采用中文分词算法对原始文档集进行中文分词处理，将所述原始文档集转化为词语序列；步骤2，构建候选新词集，包括：步骤2.1，指定所述词语序列中的某个词语作为中心词语，并设定扫描窗口区间；其中，设所述扫描窗口区间为[‑a,+b]；a和b为正整数或0，并且，a等于或不等于b；步骤2.2，对于步骤1得到的所述词语序列，以所述中心词语为中心，并从所述中心词语开始，分别向前逆向扫描和向后正向扫描；其中，向前逆向扫描方法为：在逆向扫描过程中，只要扫描到文档开始位置，即停止扫描；否则，向前逆向逐个扫描每个词语，并判断扫描到的词语距离所述中心词语的距离是否大于a，如果不大于，则记录扫描到的每个词语以及该词语距离所述中心词语的距离向量值；如果大于，则停止扫描；向后正向扫描方法为：在正向扫描过程中，只要扫描到文档结束位置，即停止扫描；否则，向后正向逐个扫描每个词语，并判断扫描到的词语距离所述中心词语的距离是否大于b，如果不大于，则记录扫描到的每个词语以及该词语距离所述中心词语的距离向量值；如果大于，则停止扫描；由此得到扫描窗口内的每个词语以及该词语距离所述中心词语的距离向量值；步骤2.3，步骤2.2扫描得到的每个词语、将其与该词语距离所述中心词语的距离向量值组合，连同所述中心词语形成候选新词；将所有的候选新词所构成的集合，称为候选新词集；步骤3，候选新词挖掘：对所述候选新词集中的每个所述候选新词进行进一步的挖掘分析，判断每个所述候选新词是否满足新词构成要求，如果满足，则该候选新词即作为最终挖掘到的新词，并输出所述挖掘到的新词；否则，丢弃该候选新词。