[发明专利]一种随机数据访问的串行化系统

说明书

本发明公开了一种随机数据访问的串行化系统，包括大数据分析处理子系统、数据访问串行化服务端子系统、用户端运行时子系统、预测和指令相结合的数据分发子系统；所述大数据分析处理子系统包括机器学习算法子系统、行为数据处理和建模子系统、模型评价子系统，本发明属于计算机技术领域，具体是指一种随机数据访问的串行化系统，将这些数据的访问变成“串行化”的，使用类似流媒体的方式来服务数据访问，完美解决游戏，程序以及数据的分发和访问：让游戏即点即玩，不用等待安装，不用等待下载；程序也能够即点即开，快速进入，不用等待下载安装；对大数据的访问也无需等待下载到本地，随时随机访问成为可能；而且无需担心本地存储容量。

技术领域

本发明属于计算机技术领域，具体是指一种随机数据访问的串行化系统。

背景技术

随着计算机技术的高速发展，特别是云计算时代的来临，数据规模越来越大，游戏和程序容量爆炸式增长，一些大型游戏的容量往往已经超过200GB，一些手机程序的大小也超过10GB，一些应用数据更是超过TB级别。

在公司开发和推广游戏运行时的过程中发现，由于大型游戏的容量较大，用户的网络环境复杂，用户通常需要等待几分钟乃至几十分钟才能开始游戏，严重影响了用户体验。而且长时间的等待过程中，很多用户直接放弃，也间接影响了盈利；因此，在现有分发技术(线下光盘，硬盘，闪存等存储介质，线上下载安装)条件下，所以如何降低用户的获取成本和获取时间，成为当务之急。

定义：

数据访问串行化：利用机器学习模型，根据程序的历史状态和当前上下文可以计算出接下来需要访问的数据集合及其概率，据此将随机的数据访问表示成近似串行的方式，实现数据的预加载，预测加载和随机读取。

发明内容

为了解决上述难题，本发明提供了一种随机数据访问的串行化系统，将这些数据的访问变成“串行化”的，使用类似流媒体的方式来服务数据访问，完美解决游戏，程序以及数据的分发和访问：让游戏即点即玩，不用等待安装，不用等待下载；程序也能够即点即开，快速进入，不用等待下载安装；对大数据的访问也无需等待下载到本地，随时随机访问成为可能；而且无需担心本地存储容量。

为了实现上述功能，本发明采取的技术方案如下：一种随机数据访问的串行化系统，包括大数据分析处理子系统、数据访问串行化服务端子系统、用户端运行时子系统、预测和指令相结合的数据分发子系统；

所述大数据分析处理子系统包括机器学习算法子系统、行为数据处理和建模子系统、模型评价子系统。

所述机器学习算法子系统根据调研和实际生产中的反馈，选取了Aproiri，朴素贝叶斯，贝叶斯网络，K-Means，KNN，DBSCAN，SVM，LSTM，CNN，AdaBoost，GBDT，RandomForest等机器学习算法，将这些算法的一个或者多个组合，构建了机器学习算法池；

所述行为数据处理和建模子系统，使用机器学习算法池中不同的算法处理所收集的用户行为和程序行为，并结合数据的类型和特性，为不同用户和不同数据建立了数据访问预测模型。这些模型可以根据用户行为和程序行为，预测出用户接下来需要的数据；

所述模型评价子系统，对每个用户的每个数据，在模型评价阶段，根据样本下的稳定性，预测成功率，计算复杂度等指标选择表现最好的前几个模型。

所述数据访问串行化服务端子系统，在接收到用户端的数据访问请求时，对用户进行鉴权，对访问的数据进行鉴权，如果非法则拒绝访问；如果是预先加载请求，则选择对应的模型，生成预加载数据包；如果是即时读取请求，则直接查找对应的压缩后的数据块，加密后返回给用户端；如果是预测下载请求，选择对应的模型，输入用户端传入的用户行为和程序上下文，计算出即将需要的数据，查找对应的压缩后数据块，加密后返回给用户端；用户端可以和服务端协商，选择非压缩，非加密的数据；服务端将数据划分成数据块，针对不同的数据选择压缩率高且解压时间消耗少的压缩算法和压缩参数，生成压缩后数据块。