[发明专利]一种数据存储方法及装置

说明书

技术领域

本发明属于高频数据处理领域，尤其涉及一种数据存储方法及装置。

背景技术

高频数据一般指时间间隔较短的证券交易数据。伴随金融投资策略的深入研究，高频数据已是当前金融理论研究的热点之一：比如，围绕高频数据，如何提取市场信息，进行金融市场微观结构分析，如何确定交易时机等。但随着时间的推移，高频数据越积越多，需要的存储成本也越来越大。

目前，主流的高频数据处理方法为：采用Oracle等关系型数据库进行存储，针对不同交易所的数据，按数据类型存储，用户提取数据时开发SQL语句，联合多个表检索需要的字段，组成数据集合应用。但由于采用Oracle数据库存储时，需要保存所有需要的字段，存在大量冗余数据，因此浪费了存储空间，导致存储成本过大。

发明内容

本发明实施例提供了一种数据存储方法及装置，旨在解决现有方法在存储高频数据时浪费存储空间，从而导致存储成本过大的问题。

本发明实施例是这样实现的，一种数据存储方法，所述方法包括下述步骤：

获取交易所的行情数据；

将获取的行情数据按照行情数据所属的交易所进行拆分，并保留拆分后行情数据中的有效数值，所述行情数据中的有效数值包括以下分量：股票代码、交易价格信息、买卖委托信息以及交易量；

在每个预设间隔时间内，统计所述有效数值的交易价格信息的集合，得到一数据集合；

存储所述有效数值中变化后的数据，以及存储所述数据集合中变化后的数据；

压缩并存储所述有效数值中没有变化的数据，以及压缩并存储所述数据集合中没有变化的数据。

本发明实施例的另一目的在于提供一种数据存储装置，所述装置包括：

数据获取单元，用于获取交易所的行情数据；

数据清洗单元，用于将获取的行情数据按照行情数据所属的交易所进行拆分，并保留拆分后行情数据中的有效数值，所述行情数据中的有效数值包括以下分量：股票代码、交易价格信息、买卖委托信息以及交易量；

数据整合单元，用于在每个预设间隔时间内，统计所述有效数值的交易价格信息的集合，得到一数据集合；

数据压缩单元，用于存储所述有效数值中变化后的数据，存储所述数据集合中变化后的数据；用于压缩并存储所述有效数值中没有变化的数据，以及压缩并存储所述数据集合中没有变化的数据。

在本发明实施例中，对获取的行情数据进行清洗，得到行情数据的有效数值，同时，在预设的间隔时间到来时，对行情数据的有效数值进行统计，得到相应的数据集合，再存储有效数值和数据集合中变化的数据，压缩并存储有效数值和数据集合中没有变化的数据。由于在存储行情数据之前，先对获取的行情数据进行清洗，丢弃无高频应用的数据，且在存储数据之前只存储发生变化的数据，因此减少了存储的数据量，减少了存储空间，从而降低了存储成本。

附图说明

图1是本发明第一实施例提供的一种数据存储方法的流程图；

图2是本发明第一实施例提供的一种操作系统目录的结构示意图；

图3是本发明第二实施例提供的一种数据存储装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一：

图1示出了本发明第一实施例提供的一种数据存储方法的流程图，在本实施例中，对获取的各个交易所的行情明细数据进行清洗、统计、压缩等处理后再存储，详述如下：

步骤S11，获取交易所的行情数据。

该步骤中，获取的行情数据可为多个交易所发出的行情数据。具体地，可从整合了各个交易所行情的行情系统获取。

步骤S12，将获取的行情数据按照行情数据所属的交易所进行拆分，并保留拆分后行情数据中的有效数值，所述行情数据中的有效数值包括以下分量：股票代码、交易价格信息、买卖委托信息以及交易量。