[发明专利]一种基于抽取的商业智能分析平台自动分区方法及装置在审
| 申请号： | 201910990746.4 | 申请日： | 2019-10-18 |
| 公开（公告）号： | CN110737683A | 公开（公告）日： | 2020-01-31 |
| 发明（设计）人： | 赵神州;费滔;王纯斌;赖文文 | 申请（专利权）人： | 成都四方伟业软件股份有限公司 |
| 主分类号： | G06F16/2455 | 分类号： | G06F16/2455;G06F16/2458;G06F16/25 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 610041 四川省*** | 国省代码： | 四川;51 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于抽取的商业智能分析平台自动分区方法及装置，本方案基于商业智能分析平台的数据抽取功能，用户在数据集配置抽取功能将源数据抽取到商业智能分析平台数据库中，为避免spark引擎在每个执行分支数据倾斜导致处理缓慢甚至出现内存移除失败的情况，平台开发出对客户数据源抽取时自动设置分区，保障每个执行分支数据均衡，降低内存消耗与时效的手段。解决了现有的商业智能分析平台在利用spark引擎抽取数据时，spark引擎中不同的执行分支需要处理的数据量差距较大，且数据量较大导致整个内存被严重占用，磁盘及IO也一直被负荷使用，可能导致内存溢出或者服务器资源状态异常的问题。 | ||
| 搜索关键词： | 分析平台 商业智能 抽取 引擎 分支数据 数据量 内存 服务器资源 抽取数据 客户数据 内存消耗 内存溢出 平台开发 数据抽取 状态异常 自动分区 自动设置 数据集 源数据 磁盘 移除 数据库 分区 均衡 占用 配置 失败 | ||
【主权项】：
1.一种基于抽取的商业智能分析平台自动分区方法，包括带有spark引擎的商业智能分析平台、源数据库和目标数据库，其特征在于：包括以下步骤：/nS1、商业智能分析平台根据外部输入的抽取参数从源数据库读取对应的源表列的数据；/nS2、商业智能分析平台将步骤S1中读取源表列的数据处理为一列有序列数据；/nS3、商业智能分析平台对步骤S2中的有序列数据进行均分，得到至少1个分区数据；/nS4、商业智能分析平台将分区数据发送到spark引擎中；/nS5、spark引擎根据分区数据从源数据库抽取数据到目标数据库中。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于成都四方伟业软件股份有限公司，未经成都四方伟业软件股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910990746.4/，转载请声明来源钻瓜专利网。
