[发明专利]用于连接多个单元文件的方法和装置

说明书

技术领域

本发明涉及信息技术领域，更具体地，本发明涉及改进例如Linux操作系统内核的文件系统以用于连接多个单元文件的方法和装置。

背景技术

在电信设备实时并行计算环境中，快速地连接由并行进程产生的多个文件，是要经常面对的要求和困难。例如，电信设备经常需要非常快速地将由不同进程已经产生或正在产生的日志文件连接成单个文件，不管要连接多少个文件或者每个要连接的文件大小将会多大，通常要求短于几秒。要连接的文件叫做单元文件。连接各个单元文件所获得的文件叫做合并文件。各个单元文件的大小之和甚至可能会超出一个文件系统(例如Linux文件系统)的上限。并且，各个单元文件可能属于不同类型的文件系统。

当前，在Linux操作下连接各个单元文件的唯一方法是将各个单元文件的内容读取到用户空间中，然后将各个单元文件按顺序地写入到一个合并文件中。如果单元文件规模太大，例如具有几个G的字节，那么由于需要大量的输入/输出(I/O)操作，将单元文件合并到合并文件的性能是非常差的，例如通常需要花费好几个小时的时间。另外，如果各个单元文件的大小之和超过Linux文件系统的上限，那么将不能进行合并。

在合并之后，进程可能会继续更新对应单元文件的内容。这意味着，合并文件和各个单元文件必须同时存在于文件系统中，并且可以独立地使用。使用现有的方法在完成合并之后，如果有一个单元文件发生更新，那么需要将所有的单元文件重新进行一次合并，即需要重复相同的缓慢的过程。

发明内容

根据本发明的第一方面，提出了一种连接多个单元文件的方法，包括：创建一个多符号链接文件；以及将多个单元文件的指针按顺序地写入到所述多符号链接文件中，其中一个指针指向一个单元文件的路径。

根据本发明的第二方面，提出了一种连接多个单元文件的装置，包括：创建单元，用于创建一个多符号链接文件；以及写入单元，用于将多个单元文件的指针按顺序地写入到所述多符号链接文件中，其中一个指针指向一个单元文件的路径。

一旦一个多符号链接文件创建完毕，应用程序可以像普通文件一样使用操作系统的标准文件系统编程接口来访问多符号链接文件的内容。对多符号链接文件的读写最终都会被改进的操作系统内核文件系统映射到被链接的单元文件上。

根据本发明，能快速地连接各个单元文件，各个单元文件和合并文件可以同时存在并且可以同时使用，避免出现合并文件的大小超出文件系统的限制这种情况的出现，并且各个单元文件可以属于不同的文件系统。

例如，为了连接每个具有50GB大小的10个单元文件，根据本发明，只需要1秒钟就可以完成，而根据上面所述的现有技术，则需要花几个小时。应用程序打开这个多符号链接文件后，可以使用标准的编程接口来读写被链接的10个单元文件。

附图说明

通过以下结合附图的说明，并且随着对本发明的更全面了解，本发明的其他目的和效果将变得更加清楚和易于理解，其中：

图1示出了根据本发明的一个实施方式的连接多个单元文件的方法/装置；

图2示意性地示出了创建的MSL文件；

图3示意性地示出了一个MSL文件所具有的单元文件顺序列表。

在所有的上述附图中，相同的标号表示具有相同、相似或相应的特征或功能。

具体实施方式

本发明的中心思想是不在连接阶段读取单元文件的内容，从而避免大量的I/O操作。

众所周知，一个符号链接文件仅包含有一个文本字符串(指针)，其被操作系统解释为一条指向另一个目标文件或者目录的路径。它是一个独立文件，其存在并不依赖于目标文件。如果删除一个符号链接文件，它指向的目标文件不受影响。如果目标文件被移动、重命名或者删除，任何指向该目标文件的符号链接文件仍然存在，但是它们将会指向一个不复存在的文件。

在本发明中，引入了一种新的文件类型，叫做多符号链接(MSL)文件。其类似于现有的符号链接文件，所不同的是，MSL文件支持多个顺序排列的指针，而现有的符号链接文件只支持单个指针。

与其他类型的文件一样，每一个MSL文件都有对应的索引节点(inode)，里面包含了与该MSL文件有关的一些信息，例如可以包括：

*该MSL文件的字节数；

*该MSL文件拥有者的用户ID；

*该MSL文件的组ID；

*该MSL文件的读、写、或执行权限；