[发明专利]一种实现雾霾在线监测的大数据处理方法

说明书

本发明公开一种实现雾霾在线监测的大数据处理方法，包括步骤：数据获取：获取粒径数据、谱图数据获取和常规监测数据；谱图数据筛查和校准：将含非法和无效质谱数据的谱图去除，校正含偏差质谱数据的谱图；数据压缩：飞行时间反演出质荷比，得到质荷比与信号强度组成的数组，对每一个质荷比附近谱峰信号强度进行积分得到该质荷比下的信号强度；数据打包上传：各类数据整合并打包上传服务器；结构化存储与管理：上传数据归类存储于服务器的数据库；多元数据整合挖掘：整合与粒径数据、谱图数据及常规监测数据相关联的其他数据。本发明提高对质谱仪海量数据的处理能力和对多元数据的综合利用能力，为数据深度挖掘和分析提供有力工具。

技术领域

本发明涉及环境监测以及大数据处理技术领域，特别是一种实现雾霾在线监测的大数据处理方法。

背景技术

雾霾分为雾和霾两种，雾是由大量悬浮在近地面空气中的微小水滴或冰晶组成的气溶胶系统，霾主要由二氧化硫、氮氧化物和可吸入颗粒物这三项组成，雾霾常见于城市，是特定气候条件与人类活动相互作用的结果，随着空气质量的恶化，阴霾天气现象出现增多，危害加重，中国不少地区把阴霾天气现象并入雾一起作为灾害性天气预警预报，国家卫生计生委28日印发《2013年空气污染（雾霾）健康影响监测工作方案》，提出将通过3年至5年时间，建立覆盖全国的空气污染（雾霾）健康影响监测网络，掌握不同地区PM2．5污染特征及成分差异，了解不同地区空气污染健康影响状况。

普通质谱仪用作雾霾监测采集空气中气溶胶颗粒的仪器时，一般作为非在线仪器。普通质谱仪多用于非在线的雾霾监测。这种质谱仪的质量分析器是一个离子漂移管，由离子源产生的离子加速后进入无场漂移管，并以恒定速度飞向离子接收器，离子质量越大，到达接收器所用时间越长，离子质量越小，到达接收器所用时间越短，根据这一原理，可以把不同质量的离子按m/z值大小进行分离，基于一个具体试样产生单张质谱图，不是频繁性的获取分析数据，数据量有限。

飞行时间质谱仪（TOF）是一种能产生海量数据的质谱仪，每秒需要采集分析几十甚至上百个气溶胶颗粒的质谱图（包括粒径信息和质谱信息，粒径信息指每个细颗粒物在两束测径激光间的飞行时间、质谱信息；指带点颗粒的飞行时间及其对应信号强度组成的数组），其单位时间产生的数据量极大，且数据结构复杂，现有数据处理方法是通过人工将数据拷贝至专门的计算机进行分析处理，由于TOF质谱仪的原始数据的数据量极大，信息存在大量冗余，传统方法只是简单地进行转换存储，并以文本的方式保留在本地计算机，虽然保留的大部分的原始信息，但是数据仍然占用很大空间，而且传统方法只能简单支持TOF-MS的数据，进行一些简单的基础性分析，无法整合各类仪器获取的数据信息，充分挖掘海量数据中的信息，无法对雾霾预报、污染源锁定跟踪、长时段对比分析、跨地域联合分析、雾霾形成机理深度分析等应用提供支持。

由于上诉弊端，目前难以实现质谱仪数据的实时上传以及难以进行统一的存储管理，进而无法实现雾霾在线监测和深度挖掘分析，因此大数据处理是提高雾霾监测效率和准确率的一大技术瓶颈。

有鉴于此，本发明人针对TOF采集的原始数据，提出一种实现雾霾在线监测的大数据处理方法。

发明内容

本发明为解决上述问题，提供了一种实现雾霾在线监测的大数据处理方法，以减少质谱仪需要上传的数据量，整合多元数据便于统一存储和管理，为数据深度挖掘和分析提供必要条件。

为实现上述目的，本发明采用的技术方案为：

一种实现雾霾在线监测的大数据处理方法，包括以下步骤：

S1.数据获取：通过质谱仪获取粒径数据和谱图数据，根据粒径数据和谱图数据分析出雾霾的化学组分数据，通过辅助检测仪和传感器中获取常规监测数据；

S2.数据筛查和校准：将含有非法和无效质谱数据的谱图去除，校正含有偏差质谱数据的谱图；