[发明专利]一种融合粗糙集与粒计算的分布异构海量城市安全数据流的在线数据挖掘方法

摘要

一种融合粗糙集与粒计算的分布异构海量城市安全数据流的在线数据挖掘方法，引入粗糙集理论、数据挖掘技术实现城市安全数据流的分析与挖掘，首先建立分布异步海量数据流概念形式化描述模型；其次对概念模型进行偶合分析；再次提出基于属性约简的粗糙集海量数据分割方法并采用基于概念格的节点对的关联规则挖掘找出节点间的关联性，最后通过可伸缩粒计算获取影响城市安全的关键事件信息，实现城市的数字化管理。本发明提供了一种挖掘的准确性高、及时性较好、数据有效性良好的融合粗糙集与粒计算的分布异构海量城市安全数据流的在线数据挖掘方法。

主权项

1.一种融合粗糙集与粒计算的分布异构海量城市安全数据流的在线数据挖掘方法，其特征在于：所述在线数据挖掘方法包括以下步骤：1)分布异步海量数据流概念形式化描述：通过数据流的粒化，对概念进行粒的表示、特征化、描述和解释；基于粒计算的概念分析过程包括以下步骤：①概念分层，采用粒计算模型中的概念格、粒度划分；②建立概念之间关系；③描述概念的外延和内涵，对属性和对象进行描述，表明概念之间的泛化关系；④通过对概念的外延偶合度、内涵偶合度和概念偶合度的分析，挖掘数据流隐藏的特征；2)概念的偶合分析：概念包括内涵和外延，用二元组<O_a;D_a>表示，其中，O_a是DS的外延，D_a是DS的内涵；假设一个时间段<τ_b;τ_e>中的概念为<O_a;D_a>，时间来到<τ_b;τ_e>，概念变化为<O_a;D_a>;<τ_b;τ_e>时间段内概念集合所构成的概念格设为CL₁，其后续时间段<τ_b;τ_e>内的概念集合构成的概念格设为CL₂；3)建立基于属性约简的粗糙集海量数据分割方法：在考察当前的条件属性组合A时，分两部分来考虑：①所有的相容条件分类X(X∈pos_A(D))且X∈U/ind(A)，相容条件分类X中的所有样本在A上都含有相同的属性值以及相同的决策值，在属性组合A下这些样本是完全相同的，因此这些样本可以随意被分割到不同的子数据集中，也不会造成正域的变化；②所有的冲突条件分类Y(Y∈neg_A(D))且Y∈U/ind(A)；Y中的样本在A上都含有相同的属性值以及不同的决策值，在分割父数据集的过程中把同一个冲突条件分类Y的样本分到同一个子数据集中；4)基于概念格的节点对的关联规则挖掘：采用基于先辈晚辈节点对的关联规则提取方法来提取概念格上的关联规则，关联规则基于频繁项集挖掘，它的两个重要的兴趣度度量指标是支持度和置信度，支持度表明规则的可用性，而置信度则表明规则的确定性，对于概念格中的先辈晚辈节点对(C1,C2)，假定C₁＝(O₁∪O,A),C₂＝(O,A∪B)，则在具有A属性的|O₁∪O|个对象中有|O|个也具有B属性，即可得到关联规则其支持度是λsup port=(A⇒B)=|O|U=|extent(C2)||U|,]]>置信度是λconfidence(A⇒B)=|O||O1∪O|=|extent(C2)||extent(C1)|;]]>在概念格上提取规则：提取外延对象数大于等于支持度阈值，且晚辈外延对象个数与先辈外延对象个数的比值大于等于置信度阈值的节点对；5)可伸缩粒计算知识的获取：通过对信息表分层粒化模型的分析，采用一种粒分布链表方法；6)建立面向分布异构海量的城市安全数据流挖掘系统架构：采用四种辅助网格服务来支持网格数据挖掘：数据传输服务、针对数据挖掘任务的资源分配和调度服务、数据分割服务以及全局模型生成服务；其中，数据传输服务：待挖掘处理数据在各网格节点之间的传输以及数据挖掘过程中需要处理的信息的过程；资源分配和调度服务：能够最优化地把数据挖掘的相关任务分配到网格资源上进行处理；数据分割服务：作为网格下海量数据挖掘的预处理过程，为了支持网格平台对海量数据的分布式并行挖掘处理；全局模型生成服务：为了合成各个网格节点通过函数挖掘得到的局部模型。