[发明专利]一种文件处理方法及系统

说明书

本发明提供一种文件处理方法及系统，对服务器中的预设目录进行轮询，下载预设目录中的交易文件，对交易文件进行解压和解密，得到交易明文文件；调用文件拆分进程每次从交易明文文件拆分出预设长度的文件块，将文件块存储至预先设置的任一子文件，直至拆分完交易明文文件；并行执行每个校验进程读取一个子文件，对子文件中每条用户交易数据进行校验，直至读取完子文件；若每个子文件中每条用户交易数据均校验通过，利用预设的SQL语句模板生成与每条用户交易数据相关联的SQL语句，批量执行预设数量的SQL语句将相关联的用户交易数据写入数据库，直至将全部用户交易数据写入数据库。本发明能够提高份额管理系统处理交易文件的效率的性能。

技术领域

本发明涉及计算机技术领域，更具体地说，涉及一种文件处理方法及系统。

背景技术

随着社会的不断发展，用户在银行办理的业务越来越多，随之产生了大量的交易文件，银行工作人员每天需要通过份额管理系统将大量的交易文件写入数据库。

在现有技术中，在从服务器中下载需要处理的交易文件后，对交易文件进行解压和解密，得到交易明文文件；通过份额管理系统对得到的交易明文文件进行单线程逐行读取交易明文文件中的每条用户交易数据至内存中，并且，每当读取一条用户交易数据至内存时，就根据内存中该条用户交易数据生成相应的SQL语句，以便根据生成的SQL语句将与其对应的用户交易数据写入数据库。

但是，所下载的交易文件包含大量的用户交易数据，逐行读取对交易明文文件中的用户交易数据需要较长的时间，并且，每读取一条用户交易数据就要根据所读取的用户交易数据生成相应的SQL语句，才能将所读取用户交易数据写入数据库，与数据库连接的次数过多，导致份额管理系统的性能降低。

发明内容

有鉴于此，本发明提供一种文件处理方法及系统，以提高文件处理系统处理交易文件的效率和性能为目的。

本发明第一方面公开一种文件处理方法，应用于文件处理系统，所述方法包括：

对服务器中的预设目录进行轮询，当查询到所述预设目录下存在交易文件时，下载所述交易文件，并对所述交易文件进行解压和解密，得到交易明文文件，其中，所述交易明文文件包括多条用户交易数据；

调用文件拆分进程每次从所述交易明文文件拆分出预设长度的文件块，并将所述文件块存储至预先设置的任一子文件，直至拆分完所述交易明文文件，其中，所述子文件的数量是根据校验进程的数量预先设置的，每个所述子文件中存储的所述文件块的数量相同；

并行执行每个所述校验进程读取一个所述子文件，并对所读取的所述子文件中的每条所述用户交易数据进行校验，直至读取完所有所述子文件为止；

若每个所述子文件中的每条所述用户交易数据均校验通过，利用预设的SQL语句模板生成与每个所述子文件中每条所述用户交易数据相关联的SQL语句，批量执行预设数量的所述SQL语句将相关联的所述用户交易数据写入数据库，直至将全部所述用户交易数据写入所述数据库。

可选的，所述对所述交易文件进行解压和解密，得到交易明文文件，包括：

对所述交易文件进行解压，得到密文文件；

每次对从所述密文文件中去读的预设长度的密文进行解密，直至对所述密文文件解密完成，得到交易明文文件。

可选的，所述调用文件拆分进程每次从所述交易明文文件拆分出预设长度的文件块，并将所述文件块存储至预先设置的任一子文件，直至拆分完所述交易明文文件，包括：

调用文件拆分进程每次从所述交易明文文件中拆分出预设长度的的文件块，并将所述文件块映射入所述文件拆分进程的进程地址空间，以便将所述进程地址空间中映射的所述文件块存储至预先设置的任一子文件，直至拆分完所述交易明文文件；

其中，所述预设长度是根据所述文件拆分进程的进程地址空间的大小预先设置的。