[发明专利]大数据的写入方法和装置、读取方法和装置及处理系统

说明书

技术领域

本发明涉及通信技术领域，特别是涉及一种大数据的写入方法，一种大数据的读取方法，一种大数据的写入装置，一种大数据的读取装置，以及，一种大数据的处理系统。

背景技术

随着互联网等信息技术的发展，大数据已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。所谓大数据，是指需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据的意义在于它是伴随着人类日益普及的网络行为而产生的，受到相关部门、企业采集的，蕴含着数据生产者的真实意图、喜好的非结构化和传统意义的数据信息。因此，快速存储和读取大数据，尤其是对大数据进行更新，是获得有价值的信息的手段之一。

然而，由于结构化和非结构化的数据量持续增长，以及分析数据的来源更加多样化，此前的大数据存储、读取以及更新技术已经无法满足大数据应用的需要。通常，对于大数据的存储、读取以及更新，主要采用数据库（DataBase，DB）的方式来完成，用户通过数据库管理系统（DataBase Management System，DBMS）对数据库进行管理，引入数据库后的计算机系统则称为数据库系统（DataBase System，DBS），但是，数据库系统在存储和读取大数据，尤其是对大数据进行频繁地更新时，由于磁盘和内存之间的数据传输需要进行复杂的转换运算，导致数据存取速度缓慢，效率下降。

例如，某个商家通过短信群发平台发送短信给用户时。商家可能提交了5000万条甚至更多短信到短信群发平台，这时就需要记录短信内容和所有用户的手机号码，状态为“未发送”。因为短信需要一条一条地发送给用户，所以每发送一条短信就要更新该条短信的状态为“已发送”，剩余的短信仍然为“未发送”。根据用户的接收情况在几秒内又会将状态更新为“成功送达”、“失败”、“关机”等状态，这样每秒就会有数万条数据需要更新。若采用数据库系统存储、读取大数据，则需要通过复杂的算法，例如哈希算法等，计算该大数据所在磁盘的位置，以及各种存储策略的验证，容易造成时间的耗费，从而导致数据存取速度缓慢，系统性能降低，效率严重下降。

因此，目前需要本领域技术人员迫切解决的一个技术问题就是：提供一种大数据的写入方法和装置、读取方法和装置及处理系统，用以简便地对大数据快速定位，减少时间的耗费，提高大数据存储读取的速度，提高系统性能，提高工作效率。

发明内容

本发明实施例所要解决的技术问题是提供一种大数据的写入方法和读取方法，用以简便地对大数据快速定位，减少时间的耗费，提高大数据存储读取的速度，提高系统性能，提高工作效率。

相应的，本发明实施例还提供了一种大数据的写入装置、读取装置以及一种大数据的处理系统，用以保证上述方法的实现及应用。

为了解决上述问题，本发明公开了一种大数据的写入方法，包括：

接收写入请求；

依据所述写入请求将所述大数据切分为多条子数据；所述多条子数据的长度一致，并且，所述多条子数据中相同字段对应的数据部分的相对位置固定；

分别将所述多条子数据写入指定的存储介质中；

在各条子数据中添加当前子数据在所述存储介质中的存储位置。

优选地，所述方法还包括：

当需要更新一条或多条子数据时，从所述一条或多条子数据中提取其在存储介质中的存储位置；

在所述存储位置上对所述一条或多条子数据进行更新。

为了解决上述问题，本发明还公开了一种大数据的读取方法，所述大数据被切分为多条子数据，所述多条子数据的长度一致，并且，所述多条子数据中相同字段对应的数据部分的相对位置固定，各条子数据中包括当前子数据在存储介质中的存储位置，所述方法包括：

接收读取请求；

依据所述读取请求确定待读取的一条或多条子数据；

从所述待读取的一条或多条子数据中提取其在存储介质中的存储位置；

从所述存储位置读取所述一条或多条子数据。

优选地，所述依据所述读取请求确定待读取的一条或多条子数据的步骤包括：

采用所述读取请求遍历所述多条子数据；

确定具有匹配字段的一条或多条子数据为待读取的一条或多条子数据。

优选地，所述依据所述读取请求确定待读取的一条或多条子数据的步骤包括：

采用所述读取请求计算对应的一条或多条子数据的起始位置；

确定所述起始位置对应的一条或多条子数据为待读取的一条或多条子数据。