[发明专利]一种机器学习和人工智能应用一体机部署方法

说明书

技术领域

本发明涉及机器学习和人工智能技术领域，特别涉及一种机器学习和人工智能应用一体机部署方法。

背景技术

人工智能早在上个世纪50年代就被提出，它是控制论、信息论、计算机科学、数理逻辑、神经生理学、心理学、语言学、教育学、医学、工程技术以及哲学等多种学科相互渗透的交叉学科。人们梦想着用当时刚刚出现的计算机来构造复杂的、拥有与人类智慧同样本质特性的机器。这个无所不能的机器，它有着我们所有的感知(甚至比人更多)，我们所有的理性，可以像我们一样思考。机器学习是研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习最基本的做法，是使用算法来解析数据，从中学习，然后对真实世界中的事件做出决策和预测。与传统的为解决特定任务、硬编码的软件程序不同，机器学习是用大量的数据来“训练”，通过各种算法从数据中学习如何完成任务。

机器学习是人工智能发展中一个十分热门的领域，机器学习的研究目的，是希望计算机具有像人类一样从现实世界获取知识的能力，同时建立学习的计算理论，构造各种学习系统并将其应用到各个领域中去。机器学习研究主要有三个方向，一是以模拟人类的学习过程出发，试图建立学习的认识生理学模型，这个方向与认知科学的发展密切相关；二是基础研究，发展各种适合机器特点的学习理论，探讨所有可能的学习方法，比较人类学习与机器学习的异同与联系；三是应用研究，建立各种实用的学习系统或知识获取辅助工具，在人工智能科学的应用领域建立自动获取知识系统，积累经验，完善知识库与控制知识，进而使机器的智能水平类似于人类。

目前，包括百度和谷歌在内的科技巨头，2016年在人工智能上的投入在200亿至300亿美元之间，其中90％投入研发和部署上，还有10％用于人工智能收购。目前的人工智能投资速度3倍于2013年以来的外部投资增长。人工智能发展领域主要集中在高科技/电信、汽车/组装和金融服务行业。机器学习切实能被用来帮助工业界解决问题，特别是当下的热点，如深度学习、无人驾驶、人工智能助理等对工业界的影响巨大。

大数据推动了人工智能的发展，同时，人工智能的发展也让数据产生巨大的价值，成为“智能数据”。人工智能现已应用在各种大数据应用中，如：搜索推荐、购物推荐、语音识别、图像识别、聊天机器人，智能医疗等等。机器学习和人工智能是在大数据的基础上不断发展起来的，为了让杂乱无章的海量数据产生价值，需要使用复杂的网络模型对数据进行大量地分析，才能训练处高准确率的模型，这就需要庞大的计算量，因此计算能力对机器学习和人工智能的发展变的越来越重要。

目前的大数据机器学习算法和人工智能分析应用效率较低，而资源占用率较高。对海量数据的处理速度较慢，并且大量数据在处理过程中对硬件的要求极高，无法满足数据驱动型企业快速增长的智能计算要求。

发明内容

为解决现有技术的不足，本发明的目的在于提供一种机器学习和人工智能应用一体机部署方法，该方法采用了的专门设计和多种优化技术，使得一体机具有超高计算性能，能够显著地加快程序的运行速度，适合应用于大数据环境下的机器学习和人工智能应用。

为了实现上述目标，本发明采用如下的技术方案：一种机器学习和人工智能应用一体机部署方法，其特征在于，包括以下步骤：

步骤一，将数据存储和数据处理进行隔离，采用高可扩展性的Shared-Nothing架构搭建整体系统架构，所述系统架构在逻辑上分为应用层、计算层和存储层，并且应用层、计算层和存储层都采用分布式架构；

步骤二，组建网络架构，网络构架分为单机架组网拓扑或多机架组网拓扑，所述网络架构在逻辑上划分为外部网、管理网、计算网和存储网；

步骤三，对系统的扩展性进行优化设计。

进一步地，所述应用层根据实际需要配置不同数量的应用节点；所述计算层根据实际需要配置不同数量的计算节点；所述存储层根据实际需要配置不同数量的存储节点。

进一步地，所述计算节点配置如下软件栈：

支持多种编程语言；

提供用于机器学习及深度学习的API；

集成了深度学习框架TensorFlow；

集成了优化过的分布式计算框架Spark；

集成了优化过的分布式内存文件系统Alluxio来加速数据读写；

集成了优化过的RDMA特性。