[发明专利]面向多数据源的药品类实体识别方法及装置

说明书

本发明提供了一种面向多数据源的药品类实体识别方法及装置，涉及医疗实体识别技术领域。方法包括：获取原始数据中的待处理语句；将待处理语句进行单字切分，确定待处理语句中的每个文字；根据预先训练完成的CRF训练模型，确定待处理语句中的每个文字在待处理语句中的实体标记，并确定待处理语句的实体标记序列；根据待处理语句的实体标记序列，确定待处理语句的第一组候选实体；根据预先设置的药品类术语切分策略，对待处理语句进行术语切分，确定第二组候选实体；对各候选实体进行筛选，分别形成第一组药品类候选实体和第二组药品类候选实体；根据预先设置的判断策略从第一组药品类候选实体和第二组药品类候选实体中确定药品类实体结果。

技术领域

本发明涉及医疗实体识别技术领域，尤其涉及一种面向多数据源的药品类实体识别方法及装置。

背景技术

目前，随着网络和医疗信息技术的发展、中国人口逐渐趋于老年化、互联网医疗逐渐兴起，医药行业大数据也相继产生。大数据在医药行业释放出的巨大价值吸引着诸多医药行业人士的兴趣和关注。人们开始探讨和学习如何利用大数据提高医药行业经营管理服务，如通过药品销售大数据分析得到药品品牌、消费人群、消费途径等营销策略；提高临床医疗服务质量，如通过疗效对比得到最佳治疗路径；提高医学科研水平，如分析临床试验数据和病人记录，确定药品更多的适应症和发现副作用等。而医药大数据的利用分析和挖掘的前提和基础之一是药品类实体的识别，药品相关实体的识别是医疗大数据应用的基础工作。

近年来，医疗健康领域的蓬勃发展使得该领域的研究逐渐增多，例如医疗问答、智能诊断、药品预警等。作为医疗健康数据分析的重要的一步，医疗实体识别(例如药品类的实体识别)可以抽取出相关文本中存在的医疗术语，对后续研究的性能起到重要的作用。目前常见的实体识别技术有基于词表的医学实体识别和基于条件随机场(ConditionalRandom Fields，简称CRF)的医学实体识别，然而基于词表的医学实体识别仅仅依靠术语库匹配，缺少上下文语境识别，且术语库匹配存在较大局限性，比如对于药品来说，药品的厂家数量繁多，术语库可能难以一一涵盖。而基于CRF的医学实体识别技术，缺少大数据语料库和语言规则的应用，语料均为人工标注后的语料，而没有利用半监督学习等方法，增加对数量更庞大的未标注数据的使用，使得模型不够完善，缺少基于语言学与医疗信息的规则，仅仅依靠模型，对数据的针对性不够强。可见，当前的实体识别方案并不能准确进行药品类实体识别。

发明内容

本发明的实施例提供一种面向多数据源的药品类实体识别方法及装置，以解决当前的实体识别方案并不能准确进行药品类实体识别的问题。

为达到上述目的，本发明采用如下技术方案：

一种面向多数据源的药品类实体识别方法，包括：

获取原始数据中的待处理语句；

将所述待处理语句进行单字切分，确定待处理语句中的每个文字；

根据预先训练完成的CRF训练模型，确定待处理语句中的每个文字在待处理语句中的实体标记，并确定待处理语句的实体标记序列；

根据待处理语句的实体标记序列，确定待处理语句的第一组候选实体；

根据预先设置的药品类术语切分策略，对所述待处理语句进行术语切分，确定第二组候选实体；

根据第一组候选实体和第二组候选实体中各候选实体的末尾字符，对各候选实体进行筛选，分别形成第一组药品类候选实体和第二组药品类候选实体；

若第一组药品类候选实体和第二组药品类候选实体不相同，根据预先设置的判断策略从第一组药品类候选实体和第二组药品类候选实体中确定药品类实体结果。

具体的，所述根据预先设置的判断策略从第一组药品类候选实体和第二组药品类候选实体中确定药品类实体结果，包括：