[发明专利]基于招聘信息的数据处理方法及装置

权利要求书

1.一种基于招聘信息的数据处理方法，其特征在于，包括：

针对招聘信息文本集中每一招聘信息文本，分别执行进行如下操作，得到每一招聘信息文本中各技能实体的分值：

识别出一个招聘信息文本包括的至少一个技能实体，并确定所述至少一个技能实体中每个技能实体的熟练程度要求；

对于所述至少一个技能实体中的每个技能实体，均应用预定义的熟练程度要求与分值的对应关系，确定该技能实体对应所述一个招聘信息文本的分值；

分别计算所述招聘信息文本集中包括的各技能实体的总分值，其中，一个技能实体的总分值用于表征该一个技能实体的重要程度；

所述确定所述至少一个技能实体中每个技能实体的熟练程度要求包括：

基于已识别出的所述至少一个技能实体，对所述一个招聘信息文本进行分词处理，得到分词文本；

对于所述至少一个技能实体中的每个技能实体对应的分词文本，均在该分词文本中提取该技能实体对应的特征向量；其中，该技能实体对应的特征向量包括分词词典中各分词的特征值，所述分词词典中包括该分词文本中除技能实体以外的其他分词；对于该其他分词中每个分词的特征值，均根据该其他分词与该技能实体在分词文本中的距离确定；所述分词词典中除其他分词以外的分词的特征值为默认值；应用训练后的分类模型，根据该技能实体对应的特征向量，确定该技能实体的熟练程度要求；其中，所述分类模型为随机森林模型或逻辑回归模型，该其他分词包括该分词文本中除该技能实体之外的分词。

2.根据权利要求1所述的方法，其特征在于，基于已识别出的所述至少一个技能实体，对所述一个招聘信息文本进行分词处理，得到分词文本包括：

对所述一个招聘信息文本进行分词处理，得到分词中间文本；

复制所述分词中间文本，得到与所述至少一个技能实体中的每个技能实体一一对应的分词复制文本；

对于所述至少一个技能实体中的每个技能实体对应的分词复制文本，均在该分词复制文本中删除除该技能实体之外的其他技能实体，得到该技能实体对应的分词文本。

3.根据权利要求1所述的方法，其特征在于，所述其他分词的特征值包括该其他分词与该技能实体之间的距离折扣词频DTF值，该其他分词与该技能实体之间的DTF值根据如下公式确定：

其中，W表示一个其他分词；W_sample表示分词文本中的所有W；center表示该技能实体；distance(w，center)表示分词文本中W与center之间的距离函数；1/distance(w，center)表示W与center之间的词频距离折扣。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

确定训练样本集，所述训练样本集包括多个训练样本，每一训练样本包括一招聘信息文本样本、该一招聘信息文本样本对应的至少一个技能实体样本和该至少一个技能实体样本中每个技能实体样本的熟练程度要求标签；

基于每一训练样本的至少一个技能实体样本，对该训练样本的招聘信息文本样本进行分词处理，得到分词文本样本；

在每一训练样本的分词文本样本中提取该训练样本的至少一个技能实体样本中每个技能实体样本对应的特征向量；

依次根据每一训练样本的每一技能实体样本的特征向量以及该技能实体样本的熟练程度要求标签，对初始分类模型进行训练得到训练后的分类模型。

5.根据权利要求1所述的方法，其特征在于，在分别计算所述招聘信息文本集中包括的各技能实体的总分值之前，所述方法还包括：

根据预设规则判断所述招聘信息文本集中包括的所有技能实体中是否存在等价的技能实体；

如果存在，将所述等价的技能实体对齐为同一个技能实体；

其中，所述预设规则包括下述一项或多项：

根据预先确定的等价数据库判断；

或者，

编辑距离小于预设值的两个实体技能等价。