[发明专利]一种问卷样本处理方法及装置

权利要求书

1.一种问卷样本处理方法，其特征在于，所述方法包括：

获取待处理的问卷样本及所述问卷样本对应的用户行为数据，其中，所述用户行为数据包括用户完成问卷样本的过程中的操作行为及所述操作行为发生的时间的时间戳；

将所述问卷样本的用户行为数据以预设粒度进行聚合和特征提取，得到所述问卷样本的特征数据；

基于所述问卷样本的特征数据预测所述问卷样本的无效概率；

当所述问卷样本的无效概率大于预设阈值时，判定所述问卷样本为无效问卷样本。

2.根据权利要求1所述的问卷样本处理方法，其特征在于，所述将所述问卷样本的用户行为数据以预设粒度进行聚合和特征提取，得到所述问卷样本的特征数据，包括：

将所述问卷样本的用户行为数据以题目粒度进行聚合和特征提取，得到以题目为粒度的中间数据；

将所述中间数据以问卷样本粒度进行聚合和特征提取，得到所述问卷样本的特征数据。

3.根据权利要求1所述的问卷样本处理方法，其特征在于，所述基于所述特征数据预测所述问卷样本的无效概率，包括：

将所述特征数据划分为数值类特征数据和非数值类特征数据；

对所述数值类特征数据进行归一化处理以得到第一预处理数据；

对所述非数值类数据进行数值化处理以得到第二预处理数据；

将所述第一预处理数据和所述第二预处理数据输入到由一个或多个分类器组成的问卷样本清洗模型中，以获取所述问卷样本的无效概率，其中，所述问卷样本清洗模型用于预测所述问卷样本的无效概率。

4.根据权利要求3所述的问卷样本处理方法，其特征在于，在所述将所述第一预处理数据和所述第二预处理数据输入到由一个或多个分类器组成的问卷样本清洗模型中，以获取所述问卷样本的无效概率之前，所述方法包括：

获取标记了结果标签的问卷样本及所述问卷样本对应的用户行为数据，以建立训练集，其中，所述结果标签包括有效标签和无效标签；

采用所述训练集对一个或多个分类器进行训练；

根据训练后的所述一个或多个所述分类器构建问卷样本清洗模型。

5.根据权利要求4所述的问卷样本处理方法，其特征在于，所述根据训练后的所述一个或多个所述分类器构建问卷样本清洗模型，包括：

获取训练后的所述一个或多个所述分类器的分类准确率、分类精确率和问卷样本召回率；

根据所述分类器的分类准确率、分类精确率和分类召回率，选择一个或多个所述分类器组合成所述问卷样本清洗模型。

6.根据权利要求4所述的问卷样本处理方法，其特征在于，所述获取标记了结果标签的问卷样本及所述问卷样本对应的用户行为数据，以建立训练集，包括：

获取标记了无效标签的无效问卷样本，并将所述无效问卷样本加入到训练集中；

获取标记了有效标签的反标问卷样本，并将所述反标问卷样本加入到所述训练集中，所述反标问卷样本为被所述问卷样本清洗模型误判为无效问卷样本的问卷样本；

获取标记了有效标签的有效问卷样本，并将所述有效问卷样本加入到所述训练集中，以使得所述无效问卷样本占训练集中所有带有结果标签的问卷样本的比例在预设的比例范围中。

7.根据权利要求1所述的问卷样本处理方法，其特征在于，所述获取待处理的问卷样本及所述问卷样本对应的用户行为数据，包括：

抓取实时上传的用户行为数据、问卷样本和问卷题目数据，其中，所述用户行为数据绑定了问卷标签和样本标签，所述问卷样本绑定了问卷标签和样本标签，所述问卷题目数据绑定了问卷标签和样本标签；

将绑定了相同的问卷标签和相同的样本标签的所述用户行为数据、所述问卷样本和所述问卷题目数据聚合，得到待处理的问卷样本、所述问卷样本对应的用户行为数据以及所述问卷样本对应的题目数据。