[发明专利]一种基于云平台的海量数据通讯系统

说明书

技术领域

本发明涉及计算机领域的数据通讯技术，更具体地，涉及一种云平台环境下的海量数据的通讯系统。

背景技术

云计算是一种基于因特网的超级计算模式，在远程的数据中心，几万甚至几千万台电脑和服务器连接成一片。因此，云计算甚至可以让你体验每秒超过10亿万次的运算能力，如此强大的运算能力几乎无所不能。

随着云计算节点的增加，面对的就是海量数据间的通讯。基于TCP/IP的信息交换是稳定可靠的，但其对底层网络会带来很大的负载。同时，这种信息交换的过程需要软件的支持，某个节点可能同时需要与上百个节点交换信息，这意味着上层软件需要相应地配置大量的进程或者线程用于交互，这对CPU、内存提出了很高的要求。

为了提高节点之间信息交换的效率，往往需要重复使用这些TCP/IP连接和线程/进程资源，因为重新建立这种连接的开销很大。但是，如果重复使用这些TCP/IP连接和线程/进程资源，又会长期占据大量资源，可能拖累整个系统。

写入或者读取出来的数据需要内存存储。传统通讯方式会频繁地申请和释放内存，这对整个系统的性能和稳定性带来很大的负担。

传统的通讯方式是发起方A向接收方B发起请求，要求建立Socket，B接收到消息后给A一个确认反馈，A再发送数据给B，B读取数据，然后启动一个线程去执行数据，当数据执行完，再返回结果给A，A读取结果后关闭Socket。此传统的通讯方式在处理信息的过程中，系统不能释放通讯资源，因为还需要返回处理结果，但事实上处理信息的时候并不会发出或者返回信息，而这一过程可能会很耗时间，这种没有意义的耦合会导致整个系统的处理能力大大降低。

发明内容

针对现有技术中的上述问题，本发明所要解决的技术问题是能避免云平台中数据通讯的CPU及内存开销大和响应时间慢的弊端，以满足海量数据实时分析的需求，并提高用户体验和整个系统性能。

更具体地，本发明公开了一种基于云平台的海量数据通讯系统，所述系统包括：

多台服务器，对其进行联网以调配成云平台，所述云平台至少包括：主服务器，Map服务器，Reduce服务器；其中

通过所述主服务器上的数据库管理界面，连接到数据库，读取原始数据列表，再将数据列表存储到Map服务器上；

所述主服务器向所述Map服务器发起请求，首先获得所述主服务器与所述Map服务器之间的Socket通道；

当所述主服务器获得某一Socket通道，将数据写入所述Socket通道对应的写内存块，所述写内存块有消息机制通知写线程去写数据到所述Socket通道中；

当所述主服务器写出数据之后，所述Map服务器对应的Socket通道有数据送过来，有消息机制通知读线程去把Socket通道中的数据读取出来并存储到读内存块中；

当所述Map服务器执行完任务，并计算出中间结果，需要将该中间结果发送给所述Reduce服务器；

当所述Reduce服务器执行完任务，将最终结果发送给所述主服务器；

所述主服务器接收最终结果，并用可视化的形式呈现给用户。

本发明所公开的技术方案具有如下的益处，其能提高云计算中海量数据传输交换的稳定性，减少CPU、内存的开销，提高节点间的传输效率。本发明的云平台中的海量数据通讯方式，通过减少Socket通道的占用时间，Socket通道可重复使用，Socket通道的读写线程可以共享并得到优化配置，Socket通道不用时刻关闭，根据状态可以释放闲置的Socket通道，当Socket通道不够时，又可开启新的Socket通道；通过释放网络资源(包括Socket，CPU，内存等)达到减少负载的目的；通过异步通讯，解耦了信息传输与任务处理，达到完全并行工作的目的。可根据环境，设备不同，通过调优参数，灵活配置不同规模的云平台环境。

附图说明

附图1是本发明所述的云平台海量数据通讯系统的结构框图。

具体实施方式

为解决本发明所述的技术问题，本发明提供的在云平台中的海量数据通讯系统，采用的技术方案如下：

1.云平台中有多台服务器，多台服务器需要通讯。本发明中所有提交通讯请求的为发起方，接收请求的为接收方。无论哪台服务器需要请求Socket连接，都称作发起方。无论哪台服务器收到Socket请求，都称作接收方。

所述发起方除了发起请求的线程，还有一个管理Socket通道的机制，与专门负责写数据的线程。