[发明专利]基于社交网络的训练语料集的构建方法和装置

摘要

本发明公开了一种基于社交网络的训练语料集的构建方法和装置，所述方法包括对于待构建的训练语料集所属的领域，获取社交网络中该领域的用户群体发布的文本内容；对于获取的每篇文本内容，对该篇文本内容进行分词，将分词后的各词语中与该领域的特征词库中的特征词相同的词语，作为该篇文本内容的特征词；并根据该篇文本内容的特征词，计算该篇文本内容与该领域的相关度；将与该领域的相关度大于预设的相关度阈值的文本内容，作为该领域的文本语料加入到该领域的训练语料集中。由于本发明得到的某个领域的训练语料集中的文本语料与该领域的相关度较高，因此，本发明可以提高社交网络中文本内容的分类准确度，并且可以节省人力。

主权项

一种基于社交网络的训练语料集的构建方法，其特征在于，包括：对于待构建的训练语料集所属的领域，获取所述社交网络中该领域的用户群体发布的文本内容；对于获取的每篇文本内容，对该篇文本内容进行分词，将分词后的各词语中与该领域的特征词库中的特征词相同的词语，作为该篇文本内容的特征词；并根据该篇文本内容的特征词，计算该篇文本内容与该领域的相关度；将与该领域的相关度大于预设的相关度阈值的文本内容，作为该领域的文本语料加入到该领域的训练语料集中；其中，所述该领域的特征词库是通过以下步骤预先构建的：从文本内容集中获取该领域的各篇种子文本内容；对于获取的该领域的每篇种子文本内容，对该篇种子文本内容分词，得到该篇种子文本内容分词后的各词语；分别统计出该篇种子文本内容分词后的各词语的词频IF值；并根据统计出的各词语的IF值，从该篇种子文本内容分词后的各词语中选择出该领域的特征候选词；对于选择出的该领域的每个特征候选词，统计所述文本内容集中的各领域的种子文本内容中包含该特征候选词的领域的个数，将其作为该特征候选词的领域频率；针对该领域的每个特征候选词，根据该特征候选词的IF值和领域频率，计算该特征候选词的特征得分；若该特征得分超过预设的特征得分阈值，则将该特征候选词及其特征得分，分别作为该领域的特征词及其权重对应存储至该领域的特征词库中；其中，所述文本内容集中该领域的各篇种子文本内容是预先从所述社交网络中该领域的用户群体中选取若干个用户后，将选取出的各用户发布的文本内容作为该领域的种子文本内容存储在所述文本内容集中的。