[发明专利]数据写入方法及装置

权利要求书

1.一种数据写入方法，其特征在于，所述方法包括：

从数据源中获取待写入至分布式文件系统HDFS的待写入数据；

将所述待写入数据写入至缓存中的临时文件中，并在所述临时文件的大小达到预设值时，将所述临时文件中的数据写入至所述HDFS的数据节点中；

定时触发检测点操作，以暂停将所述临时文件中的数据写入至所述数据节点中，并通过快照的方式记录在执行所述检测点操作时从数据源中获取到的待写入数据在所述数据源中的第一位置及在执行所述检测点操作时数据写入至所述数据节点的第二位置，所述第二位置包括数据写入至数据节点的文件名、数据块名及数据块的偏移量；

在执行完所述检测点操作后，根据所述第二位置继续将所述临时文件中的剩余数据写入至所述数据节点中。

2.根据权利要求1所述的数据写入方法，其特征在于，所述在所述临时文件的大小达到预设值的步骤之后，还包括：

通过异步的方式关闭所述临时文件。

3.根据权利要求2所述的数据写入方法，其特征在于，所述通过异步的方式关闭所述临时文件包括：

将关闭所述临时文件的消息发送至非主线程中；

通过所述非主线程关闭所述临时文件。

4.根据权利要求1所述的数据写入方法，其特征在于，所述方法还包括：

在将所述临时文件中的数据写入至所述HDFS的数据节点失败时，获取最近一次执行所述检测点操作时所记录的从数据源中获取到的待写入数据在所述数据源中的第一位置；

根据获取到的所述第一位置以及写入至所述数据节点的所有临时文件中的数据的大小确定对所述数据节点中用于存储所述临时文件的数据块的截取长度；

根据所述截取长度对所述数据块进行截取；

在完成数据块的截取后，根据获取到的所述第一位置重新从所述数据源中获取待写入至所述HDFS的待写入数据，并将重新获得的所述待写入数据以数据覆盖的方式写入至所述临时文件中。

5.根据权利要求1至4任一项所述的数据写入方法，其特征在于，所述临时文件存在多个，所述将所述待写入数据写入至缓存中的临时文件中包括：

获取所述待写入数据对应的数据流标识；

根据所述数据流标识将所述待写入数据写入至与所述数据流标识相对应的临时文件中。

6.根据权利要求5所述的数据写入方法，其特征在于，所述根据所述数据流标识将所述待写入数据写入至与所述数据流标识相对应的临时文件中的步骤之前，还包括：

判断所述缓存中是否存在与所述数据流标识相对应的临时文件；

若不存在，则在所述缓存中创建与所述数据流标识相对应的临时文件。

7.根据权利要求5所述的数据写入方法，其特征在于，将所述临时文件中的数据写入至所述HDFS的数据节点中包括：

将多个临时文件中的数据通过一个管道写入至所述HDFS的数据节点中；

所述通过快照的方式记录在执行所述检测点操作时从数据源中获取到的待写入数据在所述数据源中的第一位置及在执行所述检测点操作时数据写入至所述数据节点的第二位置包括：

采用多线程并行快照的方式记录在执行所述检测点操作时从数据源中获取到的各个临时文件对应的待写入数据在所述数据源中的第一位置及在执行所述检测点操作时各个临时文件中的数据写入至所述数据节点的第二位置。