[发明专利]一种交易平台数据处理方法

权利要求书

1.一种交易平台数据处理方法，其特征在于，该方法包括如下步骤：

步骤1：数据收集单元基于针对互联网交易平台的采集策略通过互联网进行数据收集；

步骤2：中间存储器保存来自不同互联网交易平台的数据；

步骤3：数据清洗平台对数据集合中的所有数据进行格式内容的标准化处理；

步骤4：数据清洗平台去除数据记录中存在的明显不合理字段值和一条数据记录中存在明显矛盾的字段值。

步骤5：数据清洗平台将处理后的数据集合保存到数据仓库中；

步骤6：客户机访问数据仓库获取所需数据。

2.根据权利要求1所述的交易平台数据处理方法，其特征在于，基于数据清洗平台的请求将特定数据收集单元采集的匹配所请求序列编号的数据集合通过中间存储器发送给数据清洗平台。

3.根据权利要求1-2任意一项所述的交易平台数据处理方法，其特征在于，中间存储器中为每个数据收集单元分配独立的存储区域。

4.根据权利要求1-3任意一项所述的交易平台数据处理方法，其特征在于，同一数据收集单元采集的数据集合按照采集序列编号的顺序保存在同一存储区域中。

5.根据权利要求3所述的交易平台数据处理方法，其特征在于，在数据收集单元对其对应存储区域进行存储时，如果该存储区域用尽，则判断位于存储区域头部的数据集合对应的序列编码是否已经无效，如果是，则直接从该头部区域开始存储，覆盖该无效序列编码对应的数据集合，如果否，则向中间存储器申请临时存储区域进行存储，在申请临时存储区域失败的情况下，暂停针对当次序列编号的数据集合的存储。

6.根据权利要求5所述的交易平台数据处理方法，其特征在于，当序列编码对应的数据集合过了保留时间期限后则标记为无效。

7.根据权利要求5所述的交易平台数据处理方法，其特征在于，序列编号随着采集次数的增加而增加。

8.根据权利要求5所述的交易平台数据处理方法，其特征在于，该临时存储区域在物理上邻接该存储区域；。

9.根据权利要求1所述的交易平台数据处理方法，其特征在于，中间存储器为存储器集群。

10.根据权利要求1所述的交易平台数据处理方法，其特征在于，中间存储器允许多个设备发起的并行数据访问。