[发明专利]一种机器学习和人工智能应用一体机部署方法

权利要求书

1.一种机器学习和人工智能应用一体机部署方法，其特征在于，包括以下步骤：

步骤一，将数据存储和数据处理进行隔离，采用高可扩展性的Shared-Nothing架构搭建整体系统架构，所述系统架构在逻辑上分为应用层、计算层和存储层，并且应用层、计算层和存储层都采用分布式架构；

步骤二，组建网络架构，网络构架分为单机架组网拓扑或多机架组网拓扑，所述网络架构在逻辑上划分为外部网、管理网、计算网和存储网；

步骤三，对系统的扩展性进行优化设计。

2.根据权利要求1所述的一种机器学习和人工智能应用一体机部署方法，其特征在于，步骤一中，所述应用层根据实际需要配置不同数量的应用节点；所述计算层根据实际需要配置不同数量的计算节点；所述存储层根据实际需要配置不同数量的存储节点。

3.根据权利要求2所述的一种机器学习和人工智能应用一体机部署方法，其特征在于，所述计算节点配置如下软件栈：

a.支持多种编程语言；

b.提供用于机器学习及深度学习的API；

c.集成了深度学习框架TensorFlow；

d.集成了优化过的分布式计算框架Spark；

e.集成了优化过的分布式内存文件系统Alluxio来加速数据读写；

f.集成了优化过的RDMA特性。

4.根据权利要求2所述的一种机器学习和人工智能应用一体机部署方法，其特征在于，所述存储节点提供数据库和通用型文件系统两种存储服务；所述数据库包括关系型数据库PostgreSQL和时序型数据库，所述关系型数据库PostgreSQL采用HAWQ分布式构架，所述时序型数据库采用OpenTSDB+Hase分布式构架；所述通用型文件系统采用HDFS+Ceph混合结构，HAQW底层采用HDFS。

5.根据权利要求2所述的一种机器学习和人工智能应用一体机部署方法，其特征在于，所述应用节点上部署外部网网卡和管理网网卡，所述计算节点上部署管理网网卡和计算存储网网卡，所述存储节点上部署管理网网卡和计算存储网网卡。

6.根据权利要求1～5中任一项所述的一种机器学习和人工智能应用一体机部署方法，其特征在于，步骤二中所述单机架组网拓扑包含一个机架，组建方法为：

配备一台以太网交换机，所述以太网交换机的端口数大于或等于机架内的总节点数；

配备一台计算存储网交换机，所述计算存储网交换机的端口数大于或等于机架内的总节点数；

配备一台外部网交换机。

7.根据权利要求1～5中任一项所述的一种机器学习和人工智能应用一体机部署方法，其特征在于，步骤二中所述多机架组网拓扑包含多个机架，组建方法为：

每个机架配备一台以太网交换机，所述以太网交换机的端口数大于机架内的总节点数，并为连接其他机架预留端口；

每个机架配备一台计算存储网交换机，所述计算存储网交换机的端口数大于机架内的总节点数，并为连接其他机架预留端口；

配备合适数量的外部网交换机；

配备核心交换机，各个机架的管理网交换机采用简单树形连接到所述核心交换机上。

8.根据权利要求7所述的一种机器学习和人工智能应用一体机部署方法，其特征在于，所述计算存储网交换机为InfiniBand交换机，各个机架的InfiniBand交换机连接多个所述核心交换机组成胖树结构。

9.根据权利要求2～5中任一项所述的一种机器学习和人工智能应用一体机部署方法，其特征在于，步骤一中所述对系统的扩展性进行优化设计的具体步骤如下：

采用横向扩展架构提高性能；

采用分层架构增加存储容量。

10.根据权利要求9所述的一种机器学习和人工智能应用一体机部署方法，其特征在于，所述采用横向扩展架构提高性能的步骤为：

增加所述计算层中的计算节点数；

增加适量的网络交换机。