[发明专利]一种学生发展档案大数据算法与分析系统

摘要

本发明公开了一种学生发展档案大数据算法与分析系统，所述学生发展档案大数据算法包括如下步骤离散化处理、降维存储和输出结果；学生发展档案大数据分析系统包括待调度任务生成模块、待调度任务存储模块、任务调度模块和任务处理模块；本发明由于在数据分析系统的底层利用Hadoop系统进行数据分析，而在数据分析系统的上层则以任务调度模块来实现对任务的统筹管理，从而可以利用Hadoop系统简化了数据分析流程，以及能够从大量无序、潜在的信息中获得有效信息，通过对数据离散处理、降维存储，能够有效提高数据处理效率，具有处理量大、效率高等显著的优点，进而可以快速的处理学生发展档案大数据。

主权项

一种学生发展档案大数据算法，其特征在于：包括如下步骤：1)离散化处理：从数据库中抽取数据，确定每一种标识对应的分类规则，并采用对应的分类规则对抽取的数据进行离散化处理；从所获取的数据库中抽取数据组成训练集；用所得的训练集训练哈希函数；2)降维存储：对数据库中还没得到二进制代码的实例进行二进制编码；去掉不必要的条件属性，从而分析所得到约简中的条件属性对于决策属性的决策规则；消除数据中的不一致对象和冗佘对象，冗佘对象为条件属性相同而决策属性也相同的对象；确定神经元网络模型；3)输出结果：训练神经元网络模型，并通过运行算法实现数据分析处理；对获取数据进行有效范围筛选的筛选，对筛选后数据进行权值分配，并对分配权值后数据进行融合后显示输出结果。