[发明专利]一种中小学生学习资源实时热点协同过滤及推荐的方法

说明书

本发明提供了一种中小学生学习资源实时热点协同过滤及推荐的方法，包括如下的步骤：步骤1)首先启动zookeeper程序和kafka消息队列集群，在zookeeper程序里面配置好kafka消息队列集群；步骤2)客户端提交用户读写请求给服务器端，其将读写请求之后首先将用户的读写请求写入到kafka消息队列集群；步骤3)服务器端内的服务模块取出需要处理的读写请求消息；步骤4)服务模块通过去噪模块进行噪化处理；步骤5)将用户请求和去噪之后的数据提交给Spark Streaming框架进行实时处理；步骤6)将排名结果写入到redis模块，步骤7)客户端接收到消息之后就进行结果的显示。

技术领域

本发明涉及一种协同过滤方法，尤其是一种基于Spark框架的中小学生学习资源实时热点协同过滤及推荐的方法。

背景技术

在中小学生学习资源系统之中，除了有通过题库进行学习资源的搜索，基于用户的行为数据进行的学习资源推荐等技术之外，学生知道对于现在这一刻来说哪些学习资源有着最高的热度，有最高分的评价也是非常重要的功能。学生除了知道自己的学习资源推荐之外，若能够知道现在大家最关心，最多人参与讨论，以及是通过最多人评分来得出的最精辟的学习资源，那么学生就能够去一起参与到这些学习资源的讨论，交流，评分当中，于是，学习资源的排名系统也就应运而生。

现有技术主要存在以下缺点：

1.缺乏了有效的数据备份及容灾策略。现有技术之中，都设计了怎么样去完成目标，使功能达到预期，但是，这放在实践之中还不可行，原因就是现有技术之中缺乏了数据的备份以及是数据的融在策略，这样在平时不出问题，一切都按照预期来的时候还不会出问题，但是当遇到了突发情况或者紧急情况时，整个系统就会不堪一击，脆弱无比。

2.缺乏可靠的消息处理机制。现有技术之中，也有使用Spark框架进行处理以及是利用HBase的强一致性和实时性进行实时监测，但是并没有在该种技术发明之中提到任何关于可靠性处理的方法。可靠性是系统实现之中一个重中之重的部分，没有消息传递的可靠性保证，就极容易在消息传递的过程之中出现丢失或发送错误，又或者是不知道消息的处理结果而做出错误的执行。这些种种行为都会导致系统处理出现混乱，甚至是整个系统不可用，严重损害了用户的利益。

3.在实时处理方面不够优化。现有技术之中，虽基于spark进行实时计算，以HBase的实时性作为数据持久化的方式，但是这种实现方式是可以有很大的改进和提升空间的。虽然HBase以实时性作为它的一大优势，但是它只要数据超过一个阈值，终究还是会存储到硬盘上面，于是在读写的时候就是会比读写缓存慢，这样，就会影响了实时处理的速度，使得实时处理达不到实时的要求。

发明内容

有鉴于此，本发明的主要目的是提供一种中小学生学习资源实时热点协同过滤及推荐的方法，本发明着眼于消息可靠以及是数据的备份及容灾。消息可靠是每一个实时技术都应该具备的基本要求，倘若不能保证消息可靠，不但用户的数据，隐私都会出现严重的安全问题，而且后台系统的运行也会出现混乱最终崩溃。而数据备份则是为了达到容灾的目的，在一些节点宕机的时候依然能够迅速恢复出该节点上面的数据，不影响系统的正常运行以及是用户作业的及时处理。

其采用的技术方案是：

一种中小学生学习资源实时热点协同过滤及推荐的方法，包括如下的步骤：

步骤1)首先启动zookeeper程序和kafka消息队列集群，在zookeeper程序里面配置好kafka消息队列集群；当有读写请求到来时，kafka消息队列集群就会先将请求提交给leader，等到leader成功执行之后follower再跟随leader执行；

步骤2)客户端提交用户读写请求给服务器端，服务器端接收到客户端的读写请求之后首先将用户的读写请求写入到kafka消息队列集群；

步骤3)服务器端内的服务模块从kafka消息队列里面取出需要处理的读写请求消息；