[发明专利]文件数据写入方法、装置及计算机可读存储介质

说明书

本发明涉及一种大数据技术，揭露了一种文件数据写入方法，包括：将获取的多个文件进行存储并生成文件任务列表；调用所述文件任务列表中的文件以汇集为临时文件集，并将所述临时文件集中的文件进行分类，得到分类任务表；选取所述分类任务表中具有相同分类的文件放入预设的任务队列中，当所述任务队列中出现空位时，选取相同分类的文件放入任务队列中，直到所述分类任务列表中具有相同分类的文件全部放入任务队列后，选取其他分类的文件继续放入所述任务队列中，将所述任务队列中的文件写入预设的电子设备。本发明还提出一种文件数据写入装置、电子设备以及一种计算机可读存储介质。本发明可以解决千万级文件数据写入效率低，成本高的问题。

技术领域

本发明涉及大数据技术领域，尤其涉及一种文件数据写入方法、装置、电子设备及计算机可读存储介质。

背景技术

随着大数据的兴起，人们在日常的网络活动，如浏览网页，上传数据，下载数据等过程中会产生非常庞大的数据，这些产生的数据会形成千万级的文件数据，因此对于千万级的文件数据处理需求也越来越多。

但因为千万级的文件数据包含的数据量庞大，导致在对其进行写入处理时，占用计算内存过多，且写入效率低下，因此对于如何以低成本，高效率的实现千万级文件数据的写入需求越来越多。

发明内容

本发明提供一种文件数据写入方法、装置、电子设备及计算机可读存储介质，其主要目的在于解决千万级文件数据写入效率低，成本高的问题。

为实现上述目的，本发明提供的一种文件数据写入方法，包括：

将获取的文件进行存储，并生成文件任务列表；

调用所述文件任务列表中的文件以汇集为临时文件集，并将所述临时文件集中的文件按照关键字进行分类；

根据所述分类从所述临时文件集中选取文件放入预设的任务队列中；

将所述任务队列中的文件写入预设的电子设备。

可选地，所述将所述临时文件集中的文件按照关键字进行分类，包括：

利用第一概率公式计算所述临时文件集中每一个文件包含的信息词的概率；

根据所述信息词的概率，利用第二概率公式计算所述信息词按照不同排列组合排列成语句的语句概率；

按照所述语句概率，选择k个排列组合，得到语句概率集；

计算所述语句概率集中的语句与预设的关键字集中的关键字的相似度，得到相似度结果；

根据所述相似度结果对所述文件集中每一个文件进行分类。

可选地，所述利用第一概率公式计算所述临时文件集中每一个文件包含的信息词的概率，包括：

利用如下第一概率计算公式计算出第n信息词出现的概率P(C)：

P(C)＝P(W_n|W₁,…W_n-1)

其中，W_n为所述第n信息词，P(W_n|W₁,…W_n-1)为条件概率计算，表示所述第n-1信息词出现时，第n信息词出现的概率。。

可选地，所述利用第二概率公式计算所述信息词按照不同排列组合排列成语句的语句概率，包括：

利用如下第二概率计算公式计算文件S中的所述信息词按照W₁,W₂…W_m序列排列组合为语句的语句概率P(S)：