[发明专利]基于Hadoop的个性化旅游推荐系统及方法

摘要

基于Hadoop的个性化旅游推荐系统及方法，属于互联网技术、大数据领域；本发明共有五个模块相辅相成来完成整个系统功能，它们分别是网络爬虫模块、数据模块、大数据处理模块、推荐计算模块、UI界面模块。它们的连接关系为，网络爬虫模块与元数据模块单向连接，同时与UI界面模块单向连接；数据模块与大数据处理模块单向连接，同时与UI界面模块双向连接；大数据处理模块与推荐计算模块单向连接，同时与UI界面模块双向连接；推荐计算模块与UI界面模块双向连接。本发明开发了基于Hadoop的个性化旅游推荐系统，可以精准快速的为游客制定个性化推荐，为游客在选择目的地时带来更舒心适合的选择。

主权项

基于Hadoop的个性化旅游推荐系统，其特征在于：该系统以Eclipse为开发工具，Hadoop为大数据处理平台，Java为编程语言，通过JSCH跨平台连接本地Windows系统和服务器CentOS系统，即可实现在本地浏览器上向服务器上发送相应操作请求；通过页面的交互信息，后台运用Hadoop中的MapReduce计算框架，在分布式文件系统中进行分步查找和计算，并将结果整合返回前端页面；本系统共有五个模块相辅相成来完成整个系统功能，它们分别是网络爬虫模块、数据模块、大数据处理模块、推荐计算模块、UI界面模块；它们的连接关系为，网络爬虫模块与元数据模块单向连接，同时与UI界面模块单向连接；数据模块与大数据处理模块单向连接，同时与UI界面模块双向连接；大数据处理模块与推荐计算模块单向连接，同时与UI界面模块双向连接；推荐计算模块与UI界面模块双向连接；各模块具体连接过程如下，1.网络爬虫模块主要爬取景点信息和用户信息数据，景点信息的爬取顺序是根据省份和城市信息来依次爬取，首先遍历数据模块中的各省份城市信息数据，后台通过修改旅游网站中URL的城市名称，同时获得该网站的Cookie，依次获取各省各个城市下的景点名称列表，再根据该景点列表，依次将每个景点所需的相关字段信息提取出来，并记录存储到数据库中对应的景点信息表中；用户的信息数据是根据每个景点的评论页获取对该景点评论的信息，并根据评论信息获取评论者即用户的详细信息，将用户信息和评论信息分别记录存储到数据中对应的用户信息表和评价表中；爬取流程如下：国家列表→省份列表→城市列表→景点列表→景点字段信息→景点评论→评论者信息网络爬虫模块主要通过两个途径来触发爬取程序，一个是每天定时定点向数据库读取景点数据，并触发相应的爬取景点和用户信息程序，并将结果记录存储到数据库中的对应数据表中；另一个是通过UI界面模块的检索功能触发，当所查询的景点名称在数据库中找不到与之相对应的结果时，便会触动爬虫程序去旅游网站查询并爬取相关信息，如果找到对应景点，则将该景点的相关字段信息爬取出来，并记录存储到数据库中对应的景点信息表，同时再将结果反馈到UI页面对应位置。