[发明专利]海量数据定向分类传输方法及系统

说明书

本发明提供一种海量数据定向分类传输方法及系统，海量数据定向分类传输系统包括数据供给方客户端、数据需求方客户端和网络传输系统；所述数据供给方客户端，用于收集数据，并将收集到的数据传输给网络传输系统；所述数据需求方客户端，用于向网络传输系统发送获取数据的请求消息；所述网络传输系统，包括数据分类模块、需求生成模块、匹配度计算模块和传输机制选择模块。优点为：数据传输的驱动力是需求端提出需求，系统根据需求定向发送数据，而在需求方没有提出需求时，不进行数据的传输，针对不同的数据类型和用户的需求，只传输必要的数据，减少了数据传输过程的拥堵，同时降低了能源消耗，从根本上解决了网络拥堵问题。

技术领域

本发明属于数据传输技术领域，具体涉及一种海量数据定向分类传输方法及系统。

背景技术

在大型设备制造的生产现场，布置着大量的传感器等数据采集装置，对车间环境，中间产品，设备状态等信息进行监控，并实时传输到用户终端。静态管理信息(如产品三维模型、文字描述、数控代码等)与实时状态信息(如语音、现场录像、位置信息等)构成了制造现场的海量数据，这些海量数据在传输过程中，不同类型的节点竞争传输系统上的优先权，无线频带中来自多个设备的此类干扰和增加的使用降低了网络的整体性能，造成传输网络的拥堵和延迟，并且可能造成网络瘫痪、数据丢失等不可挽回的损失。例如，制造现场的监控视频实时传输到用户终端，当用户提出想要查询制造现场的其他数据信息时，两种类型的数据同时传输，竞争无线信道中传输的优先权，可能会造成网络的拥堵，拥堵信道的数据识别其他可传输的路径，与更多的传输数据进行竞争，进而造成传输网络大面积的拥堵和瘫痪，并且可能造成重要数据的丢失。

如今，解决数据拥堵的技术主要包括网络服务质量(Quality of Service,QoS)与软件定义网络(Software-defined networking,SDN)。

网络服务质量(QoS)是网络提供给用户的服务性能的一种测量，是指网络在传输数据流时需要满足的一系列服务请求，具体可以量化为带宽、延迟、延迟抖动、丢失率等性能指标。通过制定不同的QoS指标，来监控数据传输过程中的拥堵和丢包等问题。利用QoS来控制拥堵的方式包括流量调节、拥塞管理和拥塞避免。流量调节是指：通过控制数据流的速率，推迟不合格数据传输时间，来保证数据均能正常传输，但会大大增加传输延迟；拥塞管理是指：根据数据的优先级和端口支持的队列进行分类，用来区分不同的传输队列，进行队列与特定数据流的映射，利用这种方式，如果分配给某个队列的资源都被占用了，依旧会产生拥堵；拥塞避免是指：根据数据的优先级，在达到一定的填满程度之后，丢弃部分传输数据。可见，QoS拥塞控制机制并没有完全解决拥塞和丢包问题，只在一定程度上避免网络传输拥堵。

软件定义网络技术(SDN)采用分层的思想，将数据层和控制层分离。控制层掌握全局网络信息，方便运营商和科研人员管理配置网络和部署新协议；数据层的交换机仅具有简单的数据转发功能，可以快速处理匹配的数据包，适应流量日益增长的需求。系统能够快速的聚合网络资源，实现平均分配，通过分层技术，达到降低设备负载的目的，降低运行成本，减少网络拥塞的情况。但这种网络结构增加了组件的复杂性，路由器和控制器的功能分区还在研究阶段，功能配置仍然是个悬而未决的事情。

由此可见，使用上述两种方式进行数据传输，虽然通过增加控制协议或者改变系统方式，在一定程度上减少拥堵出现的概率，但并没有从根本上解决传输过程中拥堵的问题，尤其是在大型的工业制造车间，存在海量的数据传输过程，例如生产过程的监控视频的传输，数据种类复杂。因此，目前迫切需要从根本上解决传输过程中拥堵的问题。

发明内容

针对现有技术存在的缺陷，本发明提供一种海量数据定向分类传输方法及系数，可有效解决上述问题。

本发明采用的技术方案如下：

本发明提供一种海量数据定向分类传输方法，包括以下步骤：

步骤1，数据供给方客户端收集数据，并将收集到的数据传输给网络传输系统；