[发明专利]基于Spark的一对多支持向量机框架及其并行化方法在审
| 申请号： | 201910491385.9 | 申请日： | 2019-06-06 |
| 公开（公告）号： | CN110210566A | 公开（公告）日： | 2019-09-06 |
| 发明（设计）人： | 龚云路 | 申请（专利权）人： | 无锡火球普惠信息科技有限公司 |
| 主分类号： | G06K9/62 | 分类号： | G06K9/62;G06F16/182 |
| 代理公司： | 无锡市汇诚永信专利代理事务所(普通合伙) 32260 | 代理人： | 王闯;葛莉华 |
| 地址： | 214000 江苏省无锡市震*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 数据上传模块 数据应用模块 数据转化模块 特征训练模块 支持向量机 参数优化 划分模块 并行化 数据集 一对多 计算机网络通信技术 分布式文件系统 优化支持向量机 训练数据集 测试数据 分类处理 海量数据 数据特征 特征权重 系统架构 训练数据 小块 优化 | ||
1.基于Spark的一对多支持向量机框架，其特征在于，包括数据上传模块、数据转化模块、数据划分模块、特征训练模块、数据应用模块这五个部分组成；整系统架构建立在Spark的基础上，所述数据上传模块将训练数据集输入到HDFS分布式文件系统，所述数据转化模块读取数据，生成RDD数据集，所述数据划分模块将所述RDD数据集切分成小块，在内存中进行计算，所述特征训练模块训练数据特征，所述数据应用模块将所述数据特征用于测试数据的分类处理。
2.基于Spark的一对多支持向量机框架的并行化方法，基于权利要求1所述的基于Spark的一对多支持向量机框架的并行化方法，其特征在于，包括如下步骤：
S1，输入训练数据集到HDFS分布式文件存储系统；
S2，构建Spark程序的运行环境，SparkContext对象向资源管理器递交注册并申请管理资源；
S3，Spark从HDFS上读取训练数据集，生成RDD弹性分布式数据集；
S4，SparkContext将RDD调度粒度分解成Stage粒度，并找到一个最佳路径执行；
S5，将步骤S4中的RDD数据集进行切分，并转化为一对多支持向量机算法所要求的输入格式；
S6，调用训练函数对读入的数据进行特征训练，得到对应的支持向量；
S7，Spark将键值对形式的支持向量进行排序和归并处理；
S8，输出支持向量机模型。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于无锡火球普惠信息科技有限公司，未经无锡火球普惠信息科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201910491385.9/1.html，转载请声明来源钻瓜专利网。
