[发明专利]对等网络文件系统、访问控制/管理方法/系统、及终端

说明书

本发明提供一种对等网络文件系统、访问控制/管理方法/系统、及终端，所述访问控制方法包括：访问所述访问端节点下文件目录，并判断所述访问端节点与其指定的共享端节点之间是否已建立数据访问处理连接；若否，则动态配置与共享端节点之间的数据访问处理连接；若是，则打开所述文件目录中的被访问文件，在成功打开所述被访问文件时，读取该被访问文件，和/或对所述被访问文件进行数据处理；本发明通过对等组网建立数据访问处理连接，实现数据共享和映射连接关系，降低了数据一致性要求，提高了系统可用性；远程只读方式的访问，有利于提高并发度和吞吐量。

技术领域

本发明属于计算机通信网络领域，涉及一种控制方法和系统、管理方法和系统，特别是涉及一种对等网络文件系统、访问控制/管理方法/系统、及终端。

背景技术

随着图片、视频等非结构化数据对象的不断增加，大数据应用对数据存储和处理性能要求越来越高，读写操作量的需求也不断上升，传统分布式文件系统在应对海量数据处理中显得越发吃力。

为了保证可靠性和可用性，分布式文件系统需要将文件数据复制为多个副本。在自动迁移、容错以及并发读写的过程中，多个副本之间务必保证数据一致性。传统的分布式文件系统往往使用存储全局元数据的总控节点保证数据一致性，管理控制工作节点。这样会带来两个问题：

(1)总控节点的性能会成为整个分布式系统的性能瓶颈，尤其是对小文件的访问，并且不易于扩容与维护。

(2)存储节点(工作节点)对总控节点有一定的依赖性，总控节点故障后，在切换至备份节点的过程中，容易降低系统的可用性。

当传统分布式文件系统面临大规模数据访问时，磁盘I/O往往成为性能瓶颈，从而导致过高的响应延迟。除了应用新型非易失随机访问存储器提高读写访问性能外，另一种改善磁盘I/O性能，提高并行度的方法是存储内计算，它将数据密集型的计算任务从CPU和内存中转移到存储设备内部执行，借助存储介质外的存储控制器构建逻辑单元，数据被读取到逻辑单元参与计算，只需返回计算结果给CPU。存储内计算减少了数据由存储介质到内存中的拷贝，充分利用了存储设备的内部带宽，降低了CPU的占用率，提高了访问并行度和吞吐能力。支持存储内计算的分布式文件系统，可以有效的将存储与计算结合起来，以数据处理任务的方式提供性能和价值输出。

互联网业务中读事务占的比例往往远远超过写事务，很多应用的读写比例达到6：1，甚至10：1。特别的，在仿神经元系统的应用场景中，存储节点之间以输入输出的方式相互关联，共享数据形成信息流。本地节点通过本地数据或其他节点的输出进行计算，而不需要对其他节点共享的数据进行修改。针对这种没有远程写操作的应用，我们可以简化分布式文件系统访问方式，降低一致性要求和数据同步负担，同时强化数据共享功能以及处理任务分发功能，最大限度降低数据传输压力，减少系统可靠性和一致性对系统规模的束缚。

因此，如何提供一种对等网络文件系统、访问控制/管理方法/系统、及终端，以解决现有技术中分布式文件系统中数据一致性要求高、并发度和吞吐量不高，访问延迟等缺陷，实以成为本领域技术人员亟待解决的技术问题。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种对等网络文件系统、访问控制/管理方法/系统、及终端，用于解决现有技术中分布式文件系统中数据一致性要求高、并发度和吞吐量不高，访问延迟的问题。

为实现上述目的及其他相关目的，本发明一方面提供一种对等网络文件系统，应用于包括若干网络节点的通信网络中，所述对等网络文件系统包括：连接建立模块，用于在网络节点之间建立数据访问处理连接；定义模块，用于将发送访问请求的网络节点定义为访问端节点，或将接收所述访问请求，并响应所述访问请求的网络节点定义为共享端节点；数据处理模块，用于对存储在所述网络节点中的文件数据进行处理和存储内计算命令的解析与处理；管理模块，用于对存储在所述网络节点中的文件数据进行组织和管理。