[发明专利]一种基于大数据环境下的多源数据聚合抽样系统

摘要

本发明属于信息技术领域，公开了一种基于大数据环境下的多源数据聚合抽样系统，包括：主控模块、数据融合模块、去停词和保留关键词单元、统计词频单元、数值合并单元、数据采集模块、展示模块、抽样深度模块、循环匹对模块、图表模块；所述数据融合模块、数据采集模块、展示模块、抽样深度模块、循环匹对模块、图表模块分别与主控模块相连接。所述数据融合模块分为去停词和保留关键词单元、统计词频单元、数值合并单元。本发明能够围绕决策目标，并基于深度学习及贝叶斯推理技术，将上述多源异构数据进行决策目标导向及场景因素驱动的聚合及推理，以筛选出与场景性决策目标相关的数据样本，为进一步数据分析做准备。

主权项

1.一种基于大数据环境下的多源数据聚合抽样系统，其特征在于，所述基于大数据环境下的多源数据聚合抽样系统设置有主控模块、数据融合模块、去停词和保留关键词单元、统计词频单元、数值合并单元、数据采集模块、展示模块、抽样深度模块、循环匹对模块、图表模块；所述数据融合模块、数据采集模块、展示模块、抽样深度模块、循环匹对模块、图表模块分别与主控模块相连接；所述数据融合模块分为去停词和保留关键词单元、统计词频单元、数值合并单元；所述数据采集模块至少包括关于业务目标的社交媒体、新闻平台、专题网站、专利网站、人才招聘的数据资源；所述数据采集模块的数据形式涉及数字、文本、图像、视频结构化或非结构化数据；数据采集模块的数据处理方法包括：输入图像；提取颜色特征和自适应LBP算子特征；多特征底秩矩阵表示模型；s.t.Xi＝XiAi+Ei,i＝1,…,K其中α是大于0的系数，用来度量噪声和野点带来的误差；等价为以下模型：输出伪区域并得到最后准确的区域；提取自适应LBP算子特征算法的具体步骤如下：(1)将输入系统的图像转换成灰度图像，对图像{grayv(i,j)}像素灰度值求和，再获取平均值：(2)利用总的纹理特征去除背景，计算图像的像素灰度值与平均像素灰度值的差值的绝对值之和，求其平均值：利用局部纹理特征去除背景，用3×3大小的滑动窗口，遍历图像，求取中心像素灰度值与周边像素灰度值之差，在每一个窗口图像内求取平均值：(3)拟合计算自适应阈值的方法：