[发明专利]基于ICE的异构平台高效智能计算应用架构及其构建方法

说明书

本发明涉及一种基于ICE的异构平台高效智能计算应用架构及其构建方法，属于人工智能领域。本发明基于ICE微服务平台构建，将通信模块从智能应用中分离开来，降低服务之间的耦合度，层次清楚便于维护，ICE使用远程过程调用协议实现远程通信；使用ICE的中立语言Slice统一服务接口定义，并使用ICE的编译工具将Slice语言翻译成各学习框架支持的语言，实现智能应用系统跨语言支持。基于IceGrid插件实现智能应用服务自动化治理，包括大规模服务的注册、定位、部署等功能。基于本架构模型构建智能应用系统可以屏蔽底层框架差异，当底层框架更新升级时，客户端应用不受影响，从而使上层用户摆脱对单一框架厂商的依赖。

技术领域

本发明属于人工智能领域，具体涉及一种基于ICE的异构平台高效智能计算应用架构及其构建方法。

背景技术

近年来，随着硬件性能、软件算法的不断提升完善，互联网大数据的广泛应用以及基于云平台的大规模计算能力的不断突破，以深度学习为核心的人工智能发展迅猛，适用于不同计算场景的深度学习框架层出不穷，其中代表性的有Caffe、TensorFlow、PyTorch等，这些深度学习框架能够提供人工智能基础算法的底层架构和接口，是推动人工智能产业发展的重要软件基础。然而，框架的差异给开发人员带来很大的困难，众多的框架训练出来的模型不能通用，基于模型产生的智能算法也仅可被特定编程语言的智能任务调用，事实上造成了深度学习框架的“碎片化”，打破框架壁垒，使底层智能计算资源互通，将是业界努力的方向。为了消除开发和生产阶段学习框架、编程语言差异带来的影响，组织者不得不采取一些变通方式来应对，比如要求研究人员在生产系统中工作或者使用各种编程语言重写多个智能算法及相关库实现对上层智能任务的调用支持。该方法面临着开发运维成本高、周期长、灵活性差等问题。

与此同时，随着云原生时代的到来，当前人工智能系统大多采用分布式服务化架构模式构建，与单体式应用不同，基于微服务的分布式智能应用需要管理运行在多台机器上的松散耦合的服务，这些服务使用不同的编程语言实现，利用不同的数据存储技术，系统规模和复杂度不断攀升，企业级微服务环境中，往往需要同时管理成百上千个服务。此类复杂系统的成功构建需要完善、易于使用且具有高效服务通信机制的微服务平台支撑。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是如何提供一种基于ICE的异构平台高效智能计算应用架构及其构建方法，以解决不同学习框架的差异性造成开发运维成本高、周期长、灵活性差的问题。

(二)技术方案

为了解决上述技术问题，本发明提出一种基于ICE的异构平台高效智能计算应用架构，该架构分为三大部分，智能应用客户端、多个异构平台智能算法服务器组成的计算资源池和IceGrid管理器；

智能应用客户端程序代码包括：应用代码、ICE中间件库和Slice接口编译生成的代理代码，用于运行计算任务，通过请求计算服务，获得计算结果；

服务器端包括多台异构系统，每台服务器端程序代码包括Slice接口编译生成的骨架框架代码、继承骨架框架代码实现服务端具体业务逻辑的服务实现代码、基于各平台学习框架实现的深度学习网络、封装服务对象的对象适配器代码和Ice中间件库，用于运行计算服务，返回计算结果；

客户端和服务器、服务器和服务器之间通过IceGrid管理器实现服务请求分派。

进一步地，所述基于各平台学习框架实现的深度学习网络的对外接口和支持的编程语言不相同。

本发明还提供一种基于所述架构实现的图像识别智能应用系统代码框架，图像识别应用客户端程序代码包括图像识别应用代码Client.cpp、ICE中间件C++核心库和Slice接口编译生成的代理代码ObjIdentify.cpp；