[发明专利]一种新型数据库和方法

说明书

一种新型数据库和方法，通过设置相互连接的一致性协调系统、主控系统、数据存储系统和客户端模块形成数据库整体架构，并将所述数据库整体架构构建在分布式文件系统上，使其成为既能够具备多类型、大数据、高吞吐、高扩展性特性，又能够具有传统数据库优良特性的新型数据库，具有十分重要的行业应用现实意义。

技术领域

本发明涉及数据库技术，特别是一种新型数据库和方法，通过设置相互连接的一致性协调系统、主控系统、数据存储系统和客户端模块形成数据库整体架构，并将所述数据库整体架构构建在分布式文件系统上，使其成为既能够具备多类型、大数据、高吞吐、高扩展性特性，又能够具有传统数据库优良特性的新型数据库，具有十分重要的行业应用现实意义。

背景技术

随着互联网对传统行业的强烈冲击和影响，对传统行业信息化应用模式造成了深刻影响，传统行业应用从互联网所倡导的开放和创新的思维模式汲取营养，不断针对传统行业应用进行改良与创新，不断发展增值应用，以及不断提出新型的服务模式，这一切使得传统行业信息化应用，正在朝着服务化、行业运营级别方向发展。在此过程中，相对于传统应用来说，创新应用以及创新应用模式的最大阻碍，是数据类型更加丰富多样，同时数据规模几何级数膨胀，无法很好的处理丰富多样的数据类型和超大规模的数据量，应用创新便无从谈起。面对上述现实情况，传统的关系型数据库无法满足这么大规模数据的高效存储与高并发读写需求。为了解决这个问题，提出了关系数据库分片集群的方案，它采用分片(sharding)的方式对扩容进行支持，但是所带来的问题是，扩容操作比较复杂，联合多个sharding表数据查询也很麻烦。关系数据库的分片方案分为垂直分片和水平分片，以用户、订单、库存的场景为例，说明关系数据库在应对大规模数据存储上的复杂性和固有缺陷。

垂直分片的做法是将用户、订单、库存的信息分别存储在不同的数据库中，例如数据库A存储用户、订单的信息，数据库B存储库存的信息。当有新的订单生成时，需要将订单信息写入到A库中(插入新订单)，将库存信息写入到B库中(更新库存)，对两个库的操作需要保证原子性和一致性，即要么两个操作都成功，要么都失败，不能出现有新订单却没有减库存的情况，这种保障机制需要在应用系统中来控制和实现，两个数据库之间是无法互相保证的，而且将保障工作交给应用程序，无疑增加了应用程序的复杂度和工作量。随着业务规模的增加，垂直分片的方案很快会遇到新的瓶颈，需要对A、B两个数据库进行再次拆分，例如增加新的数据库C，用于存储订单信息，那么就需要将A库中的订单数据迁移到C库中，相应的，应用程序中的逻辑就需要重新改写，代价是巨大的。

水平分片的做法是根据数据的某些属性，动态将数据分散存储到不同的数据库中，例如按照用户、订单、库存所属的地域，将华北地区的用户、订单、库存信息存储在A库中，将华南地区的用户、订单、库存信息存储在B库中。当需要查询某类商品的全国销量时，需要应用程序分别从不同的数据库中查询相关数据，然后再自行汇总计算。当用户跨地域下单时，也需要同时操作不同的数据库，并在应用程序端保证操作的原子性和一致性。当数据规模扩大时，需要按新的规则进行水平分片(例如按省份分片)，同样会面临大规模的数据迁移，以及应用程序逻辑上的变更。