[发明专利]一种智能传输、分布式存储和分发的方法

说明书

技术领域

本发明涉及数据传输领域，尤其涉及智能、分布式数据传输方法。

背景技术

目前，在终端获取数据时都是针对服务器如何有效获得客户端数据的，包括压缩算法、提前确定服务器指向的。并未关注数据在分布式存储所带来的应用价值。

随着互联网越来越发达,数据产生了爆炸似增长,没有一种数据能用很好的结构方法来保存,只能依赖服务器的存储与检索,这两方是当前主要的技术研究方向,在这方面也产生了很多技术。

现有技术在存储时过度依赖自动化过程，其造成服务器端存在大量一次都没有使用过的数据，占据存储空间，并且没有存储数据如何被交互使用的信息链条，数据生产者开销过大，某些未被使用的无效数据不应耗费数据生产者的流量。

发明内容

本发明就是为了克服现有方案的这些局限性，创新性地提出使用一个使用过/未使用的筛选机制来维护服务器端的存储，即从未使用的数据源将不在服务器端保留，服务器端仅保留生产这些数据的客户端结构化信息，直到有请求方需要该数据源，则有请求方客户端直接向数据源客户端获取数据，再转发至服务器，从而降低了未被使用的无效数据而产生的流量。

具体而言，本发明提出了一种一种智能传输、分布式存储和分发方法，其中该方法包括以下步骤：

S101，运行在操作系统上的数据源客户端获取需要上传到服务器端的数据；

S102，判断该数据是否存在服务器端；如果不存在，执行S103；如果存在，则在服务器端的数据库中增加该数据源的共享路径，并结束；

S103，数据源客户端向服务器端上传所述数据在所述数据源客户端存储位置及相关配置信息；

S104，服务器端将所述存储位置及相关配置信息记录在其数据库的共享内容池中。

根据本发明另一方面，其中在客户端向服务器端上传所述结构化信息后，还进一步包括：

S105，需求客户端向服务器端发送结构化搜索所述数据的请求；

S106，服务器根据所述请求，在其数据库中的共享文件池中指导使用方客户端发起建立一个与上传该内容的客户端通信的数据通路；

S107，通过所述数据通道，从上传该内容的客户端上载数据，传至所述需求方客户端，再由需求方客户端将这个数据转发至服务器端的数据库共享内容池中。

根据本发明另一方面，S102中判断该内容是否存在在服务器端是通过MD5码的键值来进行的。

根据本发明另一方面，S103中所述配置信息包括：数据源客户端的端口及IP地址。

根据本发明另一方面，S104中的所述共享内容池还记载其上的哪些数据是被共享过的和共享该数据的数据源客户端和请求客户端信息。

根据本发明另一方面，S105中所述结构化搜索主要包括：通过标签、图像特征相似度匹配来进行搜索。

根据本发明另一方面，S101中，所述数据为图像数据，所述数据源客户端通过拍照或调用相册获得所述图像数据。

此外，本发明还提出了一种智能传输、分布式存储和分发的系统(20)，其中该系统包括：

数据源客户端(201)，用于用户输入数据，或通过操作生成数据；

请求客户端(202)，用于用户在需要时发送对数据的使用请求;

服务器端存储模块(203)，用于存储实际数据文件；

服务器共享数据池(204)，用于存储共享数据的结构化信息；

数据源使用/未使用过滤器(205)，用于判断该数据源是否被使用过；

网络层业务逻辑模块(206)，用于建立连接、传送数据、保障传输网络相关功能。

根据本发明另一方面，其中，所述结构化信息主要包括共享数据的在所述数据源客户端存储位置及数据源客户端的端口及IP地址。。

本发明使用一个使用过/未使用的筛选机制来维护服务器端的存储，即从未使用的数据源将不在服务器端保留，服务器端仅保留生产这些数据的客户端结构化信息，直到有请求方需要该数据源，则有请求方客户端直接向数据源客户端获取数据，再转发至服务器，节省大量无效存储浪费，同时有利于针对某一特定应用的数据结构化过程，即在数据输入端即进行过滤。

附图说明

下面结合附图及具体实施例对本发明再作进一步详细的说明：

附图1所示为本发明所提出的智能传输、分布式存储和分发方法流程图；

附图2所示为本发明所提出的智能传输、分布式存储和分发系统结构示意图。

具体实施方式