[发明专利]数据的读取方法及装置

权利要求书

1.一种数据的读取方法，其特征在于，所述方法应用于Flume系统，包括：

获取文件属性列表中日志文件内容的最新读取结束标记；所述文件属性列表中记录有日志文件的标识信息与日志文件的最新读取结束标识的映射关系；

根据所述标识信息获取当前待读取数据的结尾字符，并判断所述当前待读取数据的结尾字符是否与预设结束字符一致；其中，所述当前待读取数据为所述读取结束标识对应的文件内容；

若确定所述当前待读取数据的结尾字符与所述预设结束字符一致，则读取所述当前待读取数据，并继续获取后续待读取数据的结尾字符，直到确定后续待读取数据的结尾字符与所述预设结束字符不一致为止；

若确定所述当前待读取数据的结尾字符与所述预设结束字符不一致，则暂停读取所述当前待读取数据，直到确定所述当前待读取数据的结尾字符与所述预设结束字符一致后，读取所述当前待读取数据。

2.根据权利要求1所述的方法，其特征在于，若所述读取结束标识为文件内容最大行号，在获取文件属性列表中日志文件内容的最新读取结束标记之前，所述方法还包括：

获取配置文件中目标文件夹的存储路径；所述目标文件夹中包含多个日志文件；

根据所述存储路径查找所述目标文件夹，并获取所述目标文件夹下所有日志文件的文件属性；其中，所述文件属性包括日志文件的名称、日志文件的最后修改时间及文件内容最大行号；

将所述日志文件对应的日志文件的名称、日志文件的最后修改时间及文件内容最大行号记录于所述文件属性列表中。

3.根据权利要求2所述的方法，其特征在于，在将所述日志文件对应的日志文件的名称、日志文件的最后修改时间及文件内容最大行号记录于所述文件属性列表中之后，所述方法还包括：

对所述目标文件夹下的所有日志文件进行监控，并确定所述目标日志文件夹是否存在更新；

若确定所述目标日志文件夹存在更新，则确定更新的内容是新增日志文件还是日志文件的修改；

若确定更新的内容为新增日志文件，则在所述文件属性列表中增加所述新增日志文件对应的日志文件的名称、新增日志文件的创建时间及文件内容最大行号；

若确定更新的内容为日志文件的修改，则获取更新后的日志文件的名称，并对所述文件属性列表中，与日志文件的名称所对应的文件内容最大行号及日志文件的最后修改时间进行更新。

4.根据权利要求3所述的方法，其特征在于，获取文件属性列表中日志文件内容的最新读取结束标记包括：

获取所述文件属性列表中记录的日志文件的最后修改时间，并获取当前时间；

将所述日志文件的最后修改时间与所述当前时间进行比对；

若确定所述日志文件的最后修改时间大于所述当前时间，则获取与所述日志文件的最后修改时间对应的所述文件内容最大行号。

5.根据权利要求1所述的方法，其特征在于，在判断所述当前待读取数据的结尾字符是否与预设结束字符一致之前，所述方法还包括：

对所述预设结束字符进行配置；

所述判断所述当前待读取数据的结尾字符是否与预设结束字符一致包括：

获取所述预设结束字符；

将所述当前待读取数据的结尾字符与所述预设结束字符进行比对，根据比对结果确定所述当前待读取数据的结尾字符与所述预设结束字符是否一致。

6.根据权利要求1-5中任一项所述的方法，其特征在于，读取所述当前待读取数据包括：

读取一行文件内容，并将所述一行文件内容封装成一个当前待读取数据。

7.根据权利要求6所述的方法，其特征在于，在读取所述当前待读取数据之后，所述方法还包括：

当确定读取终止时，获取读取终止时待读取数据的文件内容行号，并基于所述文件内容行号对所述文件属性列表中的文件内容最大行号进行更新；

将读取的待读取数据发送至预置缓存空间进行暂存。