[发明专利]一种基于多中介感知机制的跨协议内容分析方法

权利要求书

1.一种基于多中介感知机制的跨协议内容分析方法，其特征在于，所述方法包含以下步骤：

所述方法应用于跨协议内容分析系统，用于对多种协议进行跨协议的内容分析；

所述多种协议包含的类型有HTTP协议、TCP协议、FTP协议、SFTP协议、FIX协议、SMS协议、SMTP协议、IMAP协议、POP3协议；

所述跨协议内容分析系统包含有用户管理模块、资源占优配置模块、中介感知主干模块、可插拔的内容获取与聚合分析模块；所述跨协议内容分析系统通过建立可插拔的多中介感知机制，获取多种协议的内容，并进行聚合分析；

一个或多个独立的用户用于操作所述跨协议内容分析系统；所述用户管理模块为所述独立的用户创建一个唯一的用户标示号，并为独立的用户配置基础操作权限；

所述跨协议内容分析系统可允许一个或多个独立的用户同时在线，通过一个或多个独立的用户执行跨协议的内容分析的操作，一个或多个独立的用户之间的数据内容相互独立，操作互不影响；

所述用户管理模块给一个或多个独立的用户授予代理其他独立的用户的代理权限，具有代理权限的独立的用户可以访问被代理的其他的独立的用户的数据内容，并具有被代理其他的独立的用户的系统操作权限；一个独立的用户可以被授予多个被代理的其他的独立的用户的代理权限；

每个被代理的独立的用户的数据内容访问权限和系统操作权限相互独立；当独立的用户A被授予被代理其他独立的用户B的代理权限时，所述独立的用户A具有访问和操作所述被代理的其他的独立的用户B的所有系统权限；

所述用户管理模块通过资源占优配置模块将多个独立的用户的占用的资源的开销整合在一台远程服务器上运行；具体方法为：在某一时刻t₁，有M个独立的用户[U₁，U₂，…U_m…，U_M]同时访问所述跨协议内容分析系统；其中t₁为24小时制的时间表示，用于表示时间，M为大于0的正整数；U表示独立的用户，U₁表示第一个独立的用户，U₂表示第二个独立的用户，U_M表示第M个独立的用户；m为独立的用户的下标，m为满足1≤m≤M条件的正整数，U_m表示下标为m的第m个独立的用户；对于其中一个独立的用户U_m，令R_m表示t₁时刻独立的用户U_m所需要的资源的开销，R_m可以通过资源调度监测枢纽获得；

所述资源调度监测枢纽监测其中一个独立的用户的资源使用状态表和资源配置优先级；

所述独立的用户的所述资源使用状态表用于记录其中一个独立的用户的历史活跃数据、以及跨协议内容分析系统的初始资源总量、跨协议内容分析系统的可调度资源总量、跨协议内容分析系统的已占用资源总量、跨协议内容分析系统的资源利用率以及跨协议内容分析系统的资源调度评估结果；

所述独立的用户的资源配置优先级总共分为六个等级，分别为一级、二级、三级、四级、五级、六级，其中一级代表资源配置的优先级最高，而六级代表资源配置的优先级最低；

按照资源配置优先级从一级到六级进行首次等级排序，在所述跨协议内容分析系统中，当多个独立的用户具有相同的资源配置优先级时，对当前具有相同资源配置优先级的多个独立的用户进行二次排序，二次排序的方法为按照活跃时间度量尺的计算值进行排序；

二次排序的方式是将活跃时间度量尺的计算值由高到低降序排序；

所述活跃时间度量尺的计算值设定为独立的用户在所述跨协议内容分析系统中的最近一次初始活跃时间、最近R次活跃时长的平均值以及活跃频次的综合度量值；其中R为正整数，用于表示次数，R的值由所述跨协议内容分析系统的系统管理员进行调整，在默认情况下R的取值为5；

按照所述活跃时间度量尺的计算值越高的独立的用户，在相同的资源配置优先级的二次排序列表中具有越高的二次排序的资源配置等级，越高的二次排序的资源配置等级表示在资源配置时，优先满足首次排序等级高的独立的用户，当首次排序等级相同时，优先满足二次排序等级高的独立的用户；

二次等级排序的具体方法为：首先根据首次排序等级，将不同等级的独立的用户进行等级分组；

然后为不同的等级分组分别建立不同的独立的用户的活跃时间度量尺，对每个等级分组内的独立的用户根据活跃时间度量尺计算独立的用户的活跃时间综合度量值；

所述活跃时间度量尺的建立方法为：首先建立基于x轴、y轴、z轴的三维坐标系，其中x轴表示独立的用户最近一次初次活跃时间、y轴表示独立的用户最近R次活跃时长的平均值，z轴表示独立的用户在过去D小时的时长内的历史活跃频次，并将D表示为有效监测统计时长，其中D为实数，D的单位为小时；

在默认情况下，D的值为系统中所有用户的最近一次活跃时间与上一次活跃时间间隔的差值的平均值与调整系数μ的乘积，即其中0.6＜μ＜1，μ为实数，用于表示调整系数，调整系数可以由所述跨协议内容分析系统的系统管理员进行调整，在默认情况下调整系数μ＝1；

分别计算每一个独立的用户在当前的活跃时间度量尺中的最近一次初次活跃时间x_i、最近R次活跃时长的平均值y_i、在过去D小时的时长内的历史活跃频次z_i，其中i为正整数，表示独立的用户的编号；

则独立的用户U_i的活跃时间综合度量值其中α为最近一次初次活跃时间x_i的综合度量占比系数，α的取值范围为0＜α＜1；β为R次活跃时长的平均值y_i的综合度量占比系数，β的取值范围为0＜β＜1；γ为在过去D小时的时长内的历史活跃频次z_i的综合度量占比系数，γ的取值范围为0＜γ＜1；且α，β，γ的取值之和必须等于1；α，β，γ的值可以由所述跨协议内容分析系统的系统管理员进行调整，但调整后的占比系数都应该满足0＜α，β，γ＜1且α+β+γ＝1的条件；

在默认情况下，最近一次初次活跃时间x_i的综合度量占比系数α，R次活跃时长的平均值y_i的综合度量占比系数β，在过去D小时的时长内的历史活跃频次z_i的综合度量占比系数γ的取值相同，均为1/3；即在默认情况下，α，β，γ的取值为：α＝β＝γ＝1/3；

计算每个独立的用户的活跃时间综合度量值，并进行由大到小的降序排序，降序排序的结果作为具有首次相同等级的独立的用户的二次排序结果；

当在某一时刻t₂时，其中t₂为24小时制的时间表示，用于表示时间，所述用户管理模块统计独立的用户的资源配置优先级以及系统资源使用状态表，为t₂时刻的各个独立的用户统一进行最优的资源配置，并通过资源配置评估函数计算资源配置的效率；

将资源配置评估函数的计算结果更新到系统资源使用状态表中，在下一次资源配置过程中，资源配置评估函数的计算结果作为反馈值参与到下一次资源配置的过程中，从而实现资源配置的自反馈调整，达到优化资源配置的目的；

所述中介感知主干模块包括中介发送器、中介接收器和中介通道，用于发送和接收不同的协议内容；

所述中介发送器包含一个中介归位管理单元，所述中介归位管理单元对所述中介发送器进行数据内容归位处理；

所述中介归位管理单元包含一个归位触发器和一个归位计数器；

所述归位计数器包括一个归位累计保存器和一个标示戳存储队列；

所述归位累计保存器用于保存归位计数累计值；

所述标示戳存储队列用于存储初始递归函数每次被调用时的标示戳，新生成的标示戳被连接在所述标示戳存储队列中已经存在的最后一个标示戳的后面，即多个标示戳在所述标示戳存储队列中按照时间轴的发生顺序依次顺序排列；

所述归位计数器用于计算所述中介发送器每次在触发时调用的初始递归函数的调用次数，所述初始递归函数每被调用一次，都将所述初始递归函数的执行时间与当前中介发送器的触发编号作为标示戳链接到所述标示戳存储队列的尾端，所述标示戳存储队列中每新增一个标示戳，所述归位累计保存器中的归位计数累计值加一；

在每次归位触发器触发时，所述归位累计保存器的归位计数累计值被重置为0，所述标示戳存储队列中的所有标示戳被销毁，所述标示戳存储队列被置为空队列状态，直到下一次所述初始递归函数被调用，所述归位累计保存器的归位计数累计值开始新一轮的计数累加，所述标示戳存储队列压入第一个标示戳，开始新一轮的标示戳队列的建立；

所述归位触发器的数据内容归位的过程为：首先对所述中介发送器进行初始化配置，所述中介归位管理单元中的所述归位累计保存器的归位计数累计值归0，所述标示戳存储队列被置空，然后所述中介接收器和所述中介通道也被重置为初始状态；关闭所述中介感知主干模块，停止所述中介发送器、所述中介接收器和所述中介通道中的所有工作程序，清空缓冲队列数据，然后重新开启所述中介感知主干模块，使所述中介发送器、所述中介接收器和所述中介通道置于重启初始化工作状态，然后进行所述中介发送器和所述中介接收器的自动在线状态检查；

为达到所述自动在线状态检查的高效进行，所述中介发送器发送跨协议内容的标准检测数据，所述中介接收器接收跨协议内容的标准检测数据；

在所述自动在线状态检查的高效进行的过程中使所述中介通道处于有跨协议内容的标准检测数据流动的状态；

建立检测时间窗ΔW，ΔW为正数，ΔW表示时间，单位为秒，在所述检测时间窗ΔW内，监测和录制所述中介发送器、所述中介接收器和所述中介通道的工作状态；

然后将检测时间窗ΔW内录制的工作状态与标准时间窗状态进行对比；

所述检测时间窗ΔW的长度为跨协议内容的标准检测数据从所述中介发送器发送开始经由所述中介通道，最终被所述中介接收器完全接收所花费的时间总和；

在一个检测时间窗ΔW内，实时录制所述中介发送器、所述中介接收器和所述中介通道的工作状态的采样信号，并将工作状态的采样信号进行转换为数字信号，所述一个检测时间窗ΔW也可表示为一个采样周期，通过一次的检测时间窗ΔW采样得到一个工作状态的采样信号在检测时间窗上的离散数据变化集合；

记所述跨协议内容的标准检测数据第一次流经所述中介发送器、所述中介接收器和所述中介通道的工作状态时录制的工作状态采样信号在检测时间窗上的离散数据变化集合为C₁，已知所述所述跨协议内容的标准检测数据流经所述中介发送器、所述中介接收器和所述中介通道的目标工作状态信号在检测时间窗上的离散数据变化集合为C₀，C₁和C₀匹配的关键要素是对比工作状态采样信号的变化规律，根据所述当前检测状态离散数据变化集合C₁和所述目标工作状态离散数据变化集合C₀中每个离散点数据量化值的差值判断离散点数据是否匹配，若离散点数据量化值的差值小于0.02，则表明离散点达到目标工作状态；

当离散点数据量化值的差值小于0.02时，选择深度检测标准，辅助检测离散点的待检测工作状态的准确性；

对于连续s个离散点，如果连续s个离散点的工作状态都达到目标工作状态，且s的值大于下一次免检测阈值S′，则当前s个离散点的免检累计器加一，其中s和S′的值均为正整数，所述免检测阈值S′可以由系统管理员进行设置；

免检累计器的计数初始值为0，最大值为A_max，A_max的值为正整数，可以由系统管理员进行设置；

并根据连续检测时每次的免检测结果累加计数，一旦在其中一次检测中没有达到免检测阈值，免检计数器就被归0，然后从下一次达到免检阈值的状态开始重新计数；

所述免检计数器的计数值可以用于优化检测流程，当连续s个离散点的免检计数器的值都大于0时，取这连续s个离散点的免检计数器的值中的最小值A_min作为检测间隔，其中A_min为大于0的正整数，即在这s个离散点中，只取第1个，第A_min个，第2*A_min个……第x*A_min个离散点的数据进行检测，其中x*A_min≤s且x为大于0的正整数；

若离散点数据量化值的差值不接近于0，则表明离散点待检测工作状态不符合目标工作状态，记录离散点的数据量化值的差值，依次计算检测时间窗上所有离散点的数据量化值的差值，将得到的数据量化值的差值输入状态调整单元，所述状态调整单元根据检测时间窗上离散点数据量化值的差值集合调整所述中介发送器、所述中介接收器和所述中介通道的工作状态，然后第二次录制所述所述跨协议内容的标准检测数据流经调整工作状态后的所述中介发送器、所述中介接收器和所述中介通道的工作状态采样信号在检测时间窗上的离散数据变化集合为C₂，将C₂与C₀进行再一次比较，并得到新的离散数据量化值的差值，判断离散数据量化值的差值是否达到目标工作状态的要求，如果没有达到要求，则继续将得到的数据量化值的差值输入状态调整单元，进行下一次状态调整和状态检测，直到调整后的工作状态达到目标工作状态的要求为止，停止状态调整和状态检测；

所述中介通道包括协议分类通道段、导流通道段和隔离轨道通道段，为保证同一协议类型的数据内容在所述中介通道内高速流通，所述中介通道通过所述协议分类通道段侦测不同协议类型的数据内容；

所述协议分类通道段中均匀分布着协议侦测感知机，协议侦测感知机的开关状态根据协议分类通道流通量动态调整；

当所述协议分类通道段中连续2s没有数据流通时，所述协议分类通道段中所有的协议侦测感知机自动进入休眠状态当检测到所述协议分类通道段中有数据流通时，首先开启所述协议分类通道段中的第一个协议侦测感知机，并预测满足当前数据流通量所需的协议侦测感知机的数量最小值P_min，其中P_min为正整数，表示数量，则实际开启的协议侦测感知机的数量P_actual为110％*P_min的计算值的向上取整，其中P_actual为正整数，表示实际开启的协议侦测感知机的数量；

所述实际开启的P_actual个协议侦测感知机以间隔相同的距离均匀的分布于整个所述协议分类通道侦测段；当下一次预测到的需要的协议侦测感知机的数量P_next，比当前已经开启的协议侦测感知机P_actual的数量多时，其中P_next与P_actual均为正整数，则在未开启的协议侦测感知机中间隔相同的距离选择P_next-P_actual个协议侦测感知机开启；

当下一次预测到的需要开启的协议侦测感知机的数量P_next，比当前已经开启的协议侦测感知机P_actual的数量少时，用P_total表示所述协议分类通道侦测段中所有的包括开启的和未开启的协议侦测感知机的数量，其中P_total为正整数；如果P_actual-P_next＜P_total*10％，维持所述协议分类通道侦测段中协议侦测感知机的状态，当P_actual-P_next≥P_total*10％，从已开启的所有协议侦测感知机中选择间隔相同的距离的P_actual-P_next个协议侦测感知机进行关闭；

通过所述导流通道段为不同协议类型的数据内容分配不同的导流通道，将同一协议类型的数据内容导流到协议专属的所述隔离轨道通道段；

所述隔离轨道通道段分设不同的协议专属隔离轨道，不同的隔离轨道具有不同的轨道通量，不同的轨道通量的大小根据当前中介通道的总数据流通量、协议种类的数量和每种协议的数据内容量的不同动态分配；

所述中介接收器包括一个中介接收装置和跨协议内容的数据收纳库，所述中介接收装置用于感知并接收不同协议类型的数据，并将不同协议类型的数据进行协议类型标记后分配到所述跨协议内容的数据收纳库，所述跨协议内容的数据收纳库中针对不同的数据标记划分有不同的收纳区，同协议类型标记的数据存储于同一收纳区；

所述跨协议内容的数据收纳库中不同收纳区的容量不同，根据各收纳区中待收纳数据大小、总容量和剩余可用容量大小进行智能调节；

所述可插拔的内容获取与聚合分析模块，包括中介槽，可插拔协议中介和聚合分析模块；

所述可插拔的内容获取与聚合分析模块从所述中介感知主干模块中的跨协议内容的数据收纳库中读取不同收纳区的具有不同协议类型所标记的数据，然后根据不同的协议类型向所述中介槽中插拔不同的可插拔协议中介；所述中介槽是一组物理导通槽，所述中介槽有9个固定槽位和3个可扩展槽位，一共12个物理导通槽位，其中9个固定槽位用于正常模式下为可插拔协议中介提供物理导通槽位，3个扩展槽位在大数据量情况下，槽位资源不足时，可以用于对需求量大的可插拔协议中介进行槽位扩展；所述中介槽的12个物理导通槽位用于连接所述可插拔协议中介和所述聚合分析模块，只有当所述可插拔协议中介插入到所述中介槽时，被插入的可插拔协议中介才能与所述可插拔的内容获取与聚合分析模块建立连接，处于可工作状态，当所述可插拔协议中介从所述中介槽中被拔出时，被拔出的可插拔协议中介与所述可插拔的内容获取与聚合分析模块的连接被断开，处于不可工作状态；

所述可插拔协议中介包括：HTTP协议中介、TCP协议中介、FTP协议中介、SFTP协议中介、FIX协议中介、SMS协议中介、SMTP协议中介、IMAP协议中介、POP3协议中介；

当从所述中介感知主干模块中的跨协议内容的数据收纳库中读取具有不同协议类型标记的数据时，判断被读取的数据具有的被标记的协议类型对应的可插拔协议中介是否已经插入到所述中介槽中，如果被读取的数据具有的被标记的协议类型对应的可插拔协议中介已经插入到所述中介槽中，则保持插入状态，当所述中介槽中没有对应的被读取的数据具有的被标记的协议类型对应的可插拔协议中介时，将被读取的数据具有的被标记的协议类型对应的可插拔协议中介插入到所述中介槽的空槽中，此时建立所述中介感知主干模块中的跨协议内容的数据收纳库与所述聚合分析模块的连接通道，被同一协议类型标记的同一协议类型数据从所述中介感知主干模块的跨协议内容的数据收纳库中的同一收纳区经过被插入的同一可插拔协议中介，并在所述被插入的协议中介中执行协议数据内容的预解析工作，然后传输至所述聚合分析模块；所述中介槽中的不同的可插拔协议中介并行工作，即在同一时刻，被标记为不同协议类型的数据从所述中介感知主干模块中的跨协议内容的数据收纳库的不同的收纳区同时经过不同的可插拔协议中介，进行预解析工作后，同时传输至所述聚合分析模块。