[发明专利]有属性序列的机器学习系统和方法

说明书

本发明涉及有属性序列的机器学习系统和方法。用于嵌入有属性序列数据的机器学习系统和方法。有属性序列数据包括具有固定数量的属性数据元素的属性数据部分和具有可变数量的序列数据元素的序列数据部分。属性网络模块包括前馈神经网络，被配置为将属性数据部分转换为具有第一数量的属性特征的经编码的属性向量。序列网络模块包括递归神经网络，被配置为将序列数据部分转换为具有第二数量的序列特征的经编码的序列向量。在使用中，机器学习系统学习并输出输入有属性序列数据的固定长度特征表示，该固定长度特征表示编码不同属性数据元素之间的依赖性、不同序列数据元素之间的依赖性，以及有属性序列数据内属性数据元素和序列数据元素之间的依赖性。

技术领域

本发明涉及机器学习的应用。特别地，本发明的实施例提供用于 有属性序列(attributed sequence)的特征嵌入的无监督和受监督学 习，有属性序列即，具有用于在实际应用中使用的期望特性的包括固 定长度属性数据和可变长度序列数据二者的数据实例，实际应用包括 (但不限于)欺诈检测，以及web用户的点击流、在线顾客的购买 历史或DNA序列的分析和数据挖掘。

背景技术

有序数据自然地在广泛的应用中出现。有序数据的示例包括web 用户的点击流、在线顾客的购买历史和基因的DNA序列。有序数据 包括可变长度的分类项目序列，并且通常需要在馈送到学习算法之前 仔细设计特征表示。对有序数据进行特征学习的一种方法称为序列嵌 入，其中目标是将可变长度序列变换为固定长度的特征表示。

用于序列嵌入的现有技术方法关注于仅根据有序数据进行学习。 但是，在许多真实世界应用中，可变长度序列通常与固定大小的属性 集合相关联。例如，在在线购买系统中，每个用户交易包括指示交易 的上下文的一组属性(例如，“用户名”、“浏览器”和“IP地址”)和一系列用户动作(例如，“登录”、“搜索”、“向购物车 添加项目”、“结账(check out)”等)。作为另一个示例，在基因 功能分析中，每个基因可以由指示基因在不同类型的细胞中的表达水 平的DNA序列和一组属性表示。

在序列嵌入问题中，常规方法关注于对项目依赖性建模，即，序 列内不同项目之间的依赖性。但是，当与不同的属性值相关联时，项 目的给定排序可能具有不同的含义。因此，学习具有实际应用的期望 特性的嵌入需要联合考虑三种类型的依赖性：项目依赖性(即，序列 中不同项目之间的依赖性)；属性依赖性(即，不同属性之间的依赖 性)；以及有属性序列依赖性(即，序列中的属性和项目之间的依赖 性)。

紧密相关的问题是距离度量学习。通常期望观察数据的特征表示 具有相似观察有相似特征的特性，即，此类观察被聚类在特征空间 中，而不相似观察的表示在距离上更分离。因此，在距离度量学习 中，目标是基于一组相似/不相似的实例对来学习合适的距离度量。 从信息检索到医疗保健信息学的许多真实世界应用可以从距离度量学 习中极大受益。例如，在医疗保健信息学中，可能期望学习准确测量 患者之间的相似性的距离度量以找到针对患者的正确治疗。

用于距离度量学习的常规方法通常关注于学习马哈拉诺比斯 (Mahalanobis)距离度量，其等同于学习关于数据属性的线性变 换。在非线性设置中，可以首先学习非线性映射函数以将实例投影到 新空间中，然后最终度量变为该空间中的欧几里德距离度量。深度度 量学习通常是实践中学习非线性映射的选择方法。虽然关于使用有序 数据的度量学习已经取得进展，但是上面讨论的挑战在有序数据依赖 于相关联的上下文/属性的情况下再次出现。

因此，对于许多实际应用，需要有效的系统和方法来学习包括固 定长度属性数据以及相关联的可变长度有序数据的数据集和观察的特 征和距离度量。

发明内容