[发明专利]就业技能需求分析系统

权利要求书

1.一种就业技能需求分析系统，其特征在于，包括数据采集与存储模块、数据预处理模块、数据分析模块和数据可视化模块；

所述数据采集与存储模块，为获取大量具有时效性的招聘信息数据，对招聘求职网站的招聘信息进行采集，分析网页结构，编写分布式爬虫程序，将获取的职位数据，存储到Hadoop分布式存储系统中；

所述数据预处理模块，确定数据分析字段，编写数据预处理程序，将采集到的繁杂多样、不完整、重复和错误的数据进行清洗、转换，得到结构化的数据再存储到Hadoop分布式存储系统中；

所述数据分析模块，建立Hive数据仓库并装载预处理后的结构化数据，利用Hive对数据进行分析，提炼对就业求职有价值的信息，将分析结果导入到MySQL数据库；

所述数据可视化模块，对MySQL数据库进行可视化展示。

2.根据权利要求1所述的就业技能需求分析系统，其特征在于，所述数据采集与存储模块，采用Scrapy分布式爬虫框架实现招聘网站数据的爬取；具体步骤包括：

S1、确定爬取对象；

S2、分析网页结构；

S3、编写Scrapy爬虫程序。

3.根据权利要求2所述的就业技能需求分析系统，其特征在于，S1中，爬取内容主要包括招聘职位、薪资、工作经验、学历要求、公司名称、所在行业、工作职责、任职要求和工作地址，爬取的海量职位数据存储到Hadoop分布式存储系统中，以便进行数据处理和分析。

4.根据权利要求2所述的就业技能需求分析系统，其特征在于，S2中，需要对网页进行分析，并找出信息元素的相似性；使用浏览器自带的开发者工具可以非常方便的分析网页结构，查看HTML代码，对需要的网页元素进行审查，为编写爬虫程序做准备。

5.根据权利要求2所述的就业技能需求分析系统，其特征在于，S3中，爬虫的基本流程主要分为发起请求、解析内容、获取响应内容和保存数据；首先通过HTTP向目标站点发起request请求，等待服务器响应；如果服务器能正常响应，会得到一个包含所要获取页面内容的response，类型有HTML、JSON字符串、二进制数据中的一种或多种类型。

6.根据权利要求1所述的就业技能需求分析系统，其特征在于，所述数据采集与存储模块，采用Hadoop分布式存储系统，包括三个节点：一台主节点为Master，两台从节点为Slave1和Slave2；每个节点上都安装、配置JDK和Hadoop，并在主从节点之间建立SSH无密钥登录；Master节点上主要运行NameNode和DataNode进程，Slave1和Slave2节点上主要运行DataNode进程。

7.根据权利要求1所述的就业技能需求分析系统，其特征在于，所述数据预处理模块确定数据分析字段的维度包括行业、城市、技能、薪资和福利中的一个或多个。

8.根据权利要求1所述的就业技能需求分析系统，其特征在于，所述数据可视化模块，将地区热门岗位统计情况、求职岗位地区分布情况、地区岗位薪资福利数据对比情况，以及不同岗位所需技能分析情况的分析结果，进行Web可视化展示。

9.根据权利要求8所述的就业技能需求分析系统，其特征在于，所述数据可视化模块，采用的可视化展示方法包括Flex、JQuery和Echarts中的一种或几种。

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1-9任一项所述的就业技能需求分析系统。