[发明专利]一种运用大数据分析的短波通信资源配置智能预测方法

说明书

本发明公开了一种运用大数据分析的短波通信资源配置智能预测方法，包括短波存量数据、数据清洗、数据除噪(特征值提取)、基于机器学习的算法训练、短波通信资源配置预测算法引擎，短波通信数据库、外部数据、累计年数新增数据准备与算法测试验证，本发明利用大数据技术进行短波通信资源智能配置的优势，可拟合全球活动区域更复杂、高维的短波通信规律，实现更准确的短波通信资源配置预测。真正实现短波通信资源智能配置。短波通信各要素数据，利用机器学习技术进行全流程、全要素大数据分析，为全球范围活动下的短波通信提供更智能的通信资源配置预测方案，短波通信大数据分析的目的是能由计算机自动提供短波通信资源配置方案。

技术领域

本发明涉及通信与机器学习技术领域，尤其涉及一种运用大数据分析的短波通信资源配置智能预测方法。

背景技术

目前，传统短波选频方法在全球范围活动通信需求下面临挑战，主要有以下方面：传统计算预报法难以从“理论模型”层面完整模拟全球短波通信更复杂的通信要素影响，因此难以实时准确预测通信效果。传统探测选频法难以实现有效的全球覆盖，对装备和平台依赖性较强，无法实现大规模采购和安装。在全球范围活动的短波通信实践中，我们积累了近十年积累的短波通信数据，特别是大量的时空数据(时间、通信位置、通信情况)，没有做有效利用。总结起来，当前缺乏对短波通信的全要素、全流程、全系统的数据分析，因此无法进行短波通信资源配置预测，以提供辅助决策支撑。

发明内容

为解决背景技术中存在的缺点，提供了一种运用大数据分析的短波通信资源配置智能预测方法，包括短波存量数据、数据清洗、数据除噪(特征值提取)、基于机器学习的算法训练、短波通信资源配置预测算法引擎，短波通信数据库、外部数据、累计年数新增数据准备与算法测试验证，通过输入现有的所述短波存量数据经数据导入至数据清洗，所述数据清洗解决数据质量问题，大部分通过人工进行的数据整理、修复工作，从而输出高质量的短波通信数据集，所述数据降噪(特征值提取)是一种将数据从高维空间到低维空间的变换，从而达到降维的目的，所述基于机器学习的算法训练是基于三、中回归和分类两种机器学习算法进行短波通信资源配置的预测分析，所述基于机器学习的算法训练输出是短波通信资源配置预测算法引擎，所述短波通信资源配置算法引擎是开发的交付成果，可实现针对短波通信任务需求，自动生成通信资源配置方案，以提供辅助决策服务，所述算法测试验证检测和评估预测算法的效果，能获得经新积累的实战数据检验的达到预期效果的短波通信资源配置预测算法，所述累计年数新增数据准备随着短波通信任务数据的不断积累，新增数据集的规模和维度都有可能增加，可以向系统发起算法迭代指令，算法迭代指令会触发将新累积的数据和外部数据做整合准备，进入下阶段数据清洗、特征值提取、基于机器学习生成新的迭代算法，所述累计年数新增数据准备的输出是算法迭代新积累的高质量数据，并进入新一轮处理流程；

所述数据清洗后依次数据除噪、基于机器学习的算法训练与短波通信资源配置预测算法引擎后输出通信资源配置预测方案，所述短波存量数据经数据清洗后依次流向短波通信数据库与累计年数新增数据准备，所述短波通信数据库可通过收集新的短波通信任务数据输入。

对本发明的进一步描述，所述数据清洗包括但不限于数据的完整性，对于非核心维度数据需要补充，核心维度数据缺失视为无效数据条目，予以删除；数据的唯一性清洗，按规则去重，编写一系列的规则，对重复情况复杂的数据进行去重，例如不同渠道来的关联数据，可以通过相同的关键信息进行匹配，合并去重；数据的权威性，用最权威的那个渠道的数据，对不同渠道设定权威级别；数据的合法性，设定强制合法规则，凡是不在此规则范围内的，强制设为最大值，或者判为无效，剔除；数据的一致性，建立统一的数据体系；据格式转换，将非结构化数据结构化。

对本发明的进一步描述，所述短波通信资源配置预测算法引擎的逻辑流程通过输入短波通信任务需求，判断是否为短波通信活动历史密集区，是则进行分类算法引擎进行预测后输出通信资源配置预测方案，否则进行回归算法引擎进行预测后输出通信资源配置预测方案，整个过程结束。