[发明专利]基于主动学习和语义密度的目标语料库构建方法

摘要

基于主动学习和语义密度的目标语料库构建方法属于文本挖掘技术领域。命名实体识别是面向生物医学文献的文本挖掘技术中至关重要的一环，深度学习和其他学习算法在实体识别的能力很大程度上取决于目标语料库构建的性能。而主动学习则是通过未标记的数据进行筛选，可以利用少量的数据取得较高的学习准确度。提出了基于密度聚类的主动学习方法来构建目标语料库，密度聚类选择具有一定高密度的区域划分为簇，可以去除掉具有噪音的数据，再由主动学习方法来选取信息最丰富的样本，使用较少的训练样本来获得性能较好的目标语料库，最终我们通过上下文相似度曲线来观察目标语料库的性能。该方法可以有效减少训练时间的同时也能提高目标语料库的性能。

主权项

1.基于主动学习和语义密度的目标语料库构建方法，其特征在于，包括如下步骤：(1)；爬取开源科技文献，挑选包含领域术语的文献作为初始始据集；(2)在初始始据集中遍历领域术语集提取窗口大小为n，n设置为50个字的上下文集合构成初始领域语料库；(3)使用Google Word2vec模型，设置参数cbow为0，window为50，negative为0，针对初始数据集进行训练；训练得到上下文中每个词的向量化表达，词向量每一维加和取平均后得到的向量即为上下文向量a；(4)使用密度聚类方法，设置半径Eps参数和半径为Eps领域中的样本数目MinPts参数；过滤上下文向量集合依次判断每一条上下文向量与密度聚类后各簇质心余弦距离∈是否满足小于阈值Eps和距离为Eps的邻域中样本个数小于阈值MinPts的条件；如果不满足则去掉此类孤立数据，得到目标语料库；(5)当出现新的包含领域术语的语料库时，则启动语料库自扩充。