[发明专利]一种基于大数据的数据处理方法

权利要求书

1.一种基于大数据的数据处理方法，其特征在于，所述方法包括：

接收用户发送的含有用户信息的上传数据，对所述上传数据进行数据转换，得到待检数据；其中，所述待检数据包括含有时间项的文本数据和含有时间项的图像数据；

对所述待检数据进行内容识别，根据内容识别结果对所述待检数据进行加密；

根据所述用户信息确定上传数据的预测传播值，根据所述预测传播值确定脱敏级别，根据所述脱敏级别对加密后的待检数据进行解密；

将解密后的待检数据上传至云端并开放下载端口，实时监测下载指数，根据所述下载指数修正所述脱敏级别。

2.根据权利要求1所述的基于大数据的数据处理方法，其特征在于，所述接收用户发送的含有用户信息的上传数据，对所述上传数据进行数据转换，得到待检数据的步骤包括：

统计所述上传数据的格式信息，根据所述格式信息确定数据类型；其中，所述数据类型包括文本数据、音频数据、图像数据和视频数据；

当所述数据类型为音频数据时，将所述音频数据转换为文本数据；

当所述数据类型为图像数据时，对所述图像数据进行文本检测，得到文本数据和剔除文本数据的图像数据；

当所述数据类型为视频数据时，将所述视频数据转换为音频数据和图像数据组，将相应的音频数据转换为文本数据，将相应的图像数据组转换为文本数据组和剔除文本数据的图像数据组。

3.根据权利要求2所述的基于大数据的数据处理方法，其特征在于，所述当所述数据类型为音频数据时，将所述音频数据转换为文本数据的步骤包括：

将所述音频数据输入训练好的解压缩模型，得到纯波形文件；

将所述纯波形文件静音切除并分帧，生成多段语音；

对所述多段语音进行纯声学特征提取，生成特征矩阵；

基于所述特征矩阵确定文本数据。

4.根据权利要求2所述的基于大数据的数据处理方法，其特征在于，所述当所述数据类型为图像数据时，对所述图像数据进行文本检测，得到文本数据和剔除文本数据的图像数据的步骤包括：

对图片进行文本检测，获得标识所述图片中文本行位置的候选框，以及各所述候选框对应的原始置信度；

根据所述原始置信度将所述候选框标记为识别框；其中，所述识别框包括端点参数；

基于所述识别框对所述图像数据进行文本检测，得到文本数据；

拷贝所述图像数据，根据所述端点参数在拷贝后的图像数据中删除识别框区域，得到剔除文本数据的图像数据。

5.根据权利要求4所述的基于大数据的数据处理方法，其特征在于，所述根据所述原始置信度将所述候选框标记为识别框的步骤包括：

在存在交集区域的所述候选框中选取所述原始置信度最大的所述候选框作为第一候选框，其他任一所述候选框作为第二候选框，根据所述第一候选框与所述第二候选框的所述交集区域的尺寸以及闭包区域的尺寸，计算所述第二候选框的损失参数；

计算所述第一候选框与所述第二候选框的原始交并比，根据所述第二候选框的损失参数修正所述原始交并比，获得修正交并比；

根据所述修正交并比和所述第二候选框的原始置信度计算所述第二候选框的修正置信度；

判断所述第二候选框的修正置信度是否满足置信度条件，若满足，则将所述第一候选框及所述第二候选框均作为识别文本框。

6.根据权利要求5所述的基于大数据的数据处理方法，其特征在于，所述根据所述第一候选框与所述第二候选框的所述交集区域的尺寸以及闭包区域的尺寸，计算所述第二候选框的损失参数的步骤包括：

获取所述交集区域的宽度和高度，以及所述闭包区域的宽度和高度；

根据所述交集区域与所述闭包区域的高度比，以及所述交集区域与所述闭包区域的宽度比，计算所述第二候选框的损失参数。