[发明专利]机器学习的自定义语法实现方法及装置

说明书

本发明提供一种机器学习的自定义语法实现方法及装置。所述方法包括：对自定义语法进行词法分析和语法分析，转换为抽象语法树；基于所述抽象语法树进行语义分析，构建语法的逻辑执行计划；基于所述逻辑执行计划，参考数据的分布情况，构建分布式的物理执行计划；基于所述分布式的物理执行计划，通过反射机制调用相关机器学习库，通过分布式内存计算，进行模型的训练及测试。本发明能够降低机器学习的使用门槛，减少编码以及用户的开发成本。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种机器学习的自定义语法实现方法及装置。

背景技术

机器学习是人工智能的一个分支，在近30多年已发展为一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习算法是一类从数据中自动分析获得规律、并利用规律对未知数据进行预测的算法。机器学习已广泛应用于数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、检测信用卡欺诈等领域。

常用的机器学习算法需要学习特定的编程语言、特定的编译器，并进行复杂的编码实现，对于研究人员的编码能力要求较高，需要花费较高的时间成本学习相关计算机知识。

发明内容

本发明提供的机器学习的自定义语法实现方法及装置，能够降低机器学习的使用门槛，减少编码以及用户的开发成本。

第一方面，本发明提供一种机器学习的自定义语法实现方法，包括：

对自定义语法进行词法分析和语法分析，转换为抽象语法树；

基于所述抽象语法树进行语义分析，构建语法的逻辑执行计划；

基于所述逻辑执行计划，参考数据的分布情况，构建分布式的物理执行计划；

基于所述分布式的物理执行计划，通过反射机制调用相关机器学习库，通过分布式内存计算，进行模型的训练及测试。

可选地，所述基于所述抽象语法树进行语义分析，构建语法的逻辑执行计划包括：对抽象语法树进行分析，通过自定义的反射规则，使用Java虚拟机反射功能，构建语法的逻辑执行计划。

可选地，所述词法分析为：将字符序列转换为标记序列。

可选地，所述语法分析为：根据给定的形式文法对由单词序列构成的输入文本进行分析并确定语法结构。

第二方面，本发明提供一种机器学习的自定义语法实现装置，包括：

转换单元，用于对自定义语法进行词法分析和语法分析，转换为抽象语法树；

第一构建单元，用于基于所述抽象语法树进行语义分析，构建语法的逻辑执行计划；

第二构建单元，用于基于所述逻辑执行计划，参考数据的分布情况，构建分布式的物理执行计划；

计算单元，用于基于所述分布式的物理执行计划，通过反射机制调用相关机器学习库，通过分布式内存计算，进行模型的训练及测试。

可选地，所述第一构建单元，用于对抽象语法树进行分析，通过自定义的反射规则，使用Java虚拟机反射功能，构建语法的逻辑执行计划

可选地，所述词法分析为：将字符序列转换为标记序列。

可选地，所述语法分析为：根据给定的形式文法对由单词序列构成的输入文本进行分析并确定语法结构。

本发明实施例提供的机器学习的自定义语法实现方法及装置，通过自定义一种新的语法，涵盖机器学习常用算法，用户只需输入几条语句，就能实现大部分机器学习算法的构建、训练及结果分析，从而能够降低机器学习的使用门槛，减少编码以及研究人员的学习和开发成本。

附图说明