[发明专利]一种基于TF-IDF关键词提取的改进方法

摘要

本发明涉及一种基于TF‑IDF(term frequency–inverse document frequency)关键词提取的改进方法，具体包括以下步骤：分别统计文档集合中所有词语在各个文本中出现的次数；利用改进后的TF‑IDF公式进行词语的权值计算；根据权值由大到小对词语进行排序，将排序结果作为文本关键词检索依据。与现有技术相比，本发明具有对不同词性词语进行区分，考虑实际代表文本特征的关键词进行关键词排序优化等优点。 1

主权项

1.一种基于TF‑IDF关键词提取的改进方法，其特征在于，所述的方法包括以下步骤：

S1、分别统计文本集合中所有词语在各个文本中出现的次数；

S2、利用改进后的TF‑IDF公式进行词语的权值计算；

S3、根据权值由大到小对词语进行排序，将排序结果作为文本关键词检索依据。

2.根据权利要求1所述的一种基于TF‑IDF关键词提取的改进方法，其特征在于，所述的改进后的TF‑IDF公式为：

TF‑IDF_i＝(k_i1+k_i2)*tf_ik*log(|D|/df_i*tf_i)

其中：k_i1表示特征t_i在文本d_k中词性重要系数，k_i2表示特征t_i在文本d_k中专有领域词重要系数，tf_ik表示特征t_i在文本d_k中出现的次数，tf_i表示特征t_i在所有文本中出现的次数，|D|表示文本的个数，df_i表示包含特征t_i的文本的个数。

3.根据权利要求2所述的一种基于TF‑IDF关键词提取的改进方法，其特征在于，D表示文本集，D＝{d₁,d₂,…,d_k,…}，d_k表示D中的第k个文本。

4.根据权利要求2所述的一种基于TF‑IDF关键词提取的改进方法，其特征在于，t_i表示T中的第i个特征词(i∈{1,2,...|T|})，|T|表示词的个数，T表示文本词集：

T＝{t₁,t₂,…,t_i,…}。

5.根据权利要求1所述的一种基于TF‑IDF关键词提取的改进方法，其特征在于，df_i/|D|表示若选择文本集中的一个文本，该文本包含特征词t_i的概率，idf_i表示df_i的倒排频率：

idf_i＝log(|D|/df_i*tf_i)。

6.根据权利要求1所述的一种基于TF‑IDF关键词提取的改进方法，其特征在于，对于词i，若i是名词，则k_i1＝所有文档的所有名词数目/所有的词的数目；若i是动词，则k_i1＝所有文档的所有动词数目/所有的词的数目；若i是形容词，它的k_i1＝所有文档的所有形容词数目/所有的词的数目；若i为除名词、动词和形容词之外的词，则k_i1＝0。