[发明专利]一种基于短文本聚类的标注系统及其方法

说明书

本发明涉及一种基于短文本聚类的标注系统及其方法，属于临床医学标注技术领域，解决了现有技术标注效率低、训练困难、结果准确性差和沟通成本过高的问题。本发明公开的基于短文本聚类的标注系统包括输入模块、文本聚类算法模块、多文本对齐模块、结果展示模块、快速标注模块、输出模块。与现有技术相比，本发明采用了文本聚类算法和多文本对齐算法，极大减少了相似子文本的阅读量，提高了阅读速度，并且采用纵向多文本对比浏览，极大方便了用户进行人工比对。更有益的是，本发明不需要通过任何训练集进行算法训练，对不同的医学文本不需要IT人员更改算法，沟通成本极低。

技术领域

本发明涉及临床医学标注技术领域，尤其涉及一种基于短文本聚类的标注系统及其方法。

背景技术

在临床科研或药物试验中，经常会面临文本处理的问题，例如，需要将医生的专业描述文本转换成多个预设结构化选项，或按试验条款规定，重要信息必须进行原文录入，或实际情况超出了预设选项而需要文本记录。以上情况都需要记录人员将待处理文本转化为标准结构化选项。

现有文本标注的方法主要有三种，分别是人工手动标注、基于自然语言技术(NLP)或脚本程序的全自动化标注，以及半自动化标注。目前，我国各个医院、研究所、公司几乎都采用纯人工逐条阅读并手动标注，这非常费力且耗时。

全自动化标注一般是基于机器学习或人工规则的方法，虽然看似节省了人工成本，但需要大量的数据训练集供模型训练。实际训练中，人工标注工作量几乎与现有人工手动标注工作量相当；而且结果准确性差，少数几条错误可能会反转试验结果；复用也困难，对不同的科研项目需要开发不同的自动化工具。因此，全自动化标注在临床科研或药物试验中并没有得到广泛应用。

现有的半自动化标注工具，一般是标注文本中特定句子成分的标准实体词义或语法成分，以一个文本为单位进行标注，标注效率较低。虽然可以通过算法推荐一些标签，但还是需要人工逐条地阅读所有文本内容。图1是一个典型的半自动化标注系统的显示界面，显然不适合快速标注工作。

发明内容

鉴于上述的分析，本发明实施例旨在提供一种基于短文本聚类的标注系统及其方法，用以解决现有技术标注效率低、训练困难、结果准确性差和沟通成本过高的问题。

一方面，本发明实施例提供了一种基于短文本聚类的标注系统,包括输入模块、文本聚类算法模块、结果展示模块、快速标注模块、输出模块；

所述输入模块，用于接收用户输入的待处理文本，将所述待处理文本转换成至少一个单行子文本，并对所有单行子文本进行去空和去重处理；

所述文本聚类算法模块，用于对所述去空去重后的所有单行子文本进行聚类分组，将字符上相似的单行子文本置于同一个组内；

所述结果展示模块，用于将所述分组后的单行子文本按组进行可视化显示，将有差异并且出现概率较少的字符进行高亮显示；

所述快速标注模块，用于对聚类结果中每组内所有单行子文本内容进行选定，并设置标签进行标注；

所述输出模块，用于将标注结果通过复制的方式导出。

上述技术方案的有益效果如下：本发明采用文本聚类算法可以减少相同文本的阅读量，实现多个子文本快速浏览，从而极大地提高了标注效率。本发明采用人机交互的半自动化标注系统来避免全自动化标注的缺点，不需要人工事先产生大量的标注数据以供机器学习、算法训练或产生规则。通过本发明的快速标注模块，可以一次性对同一组中多个单行子文本进行标注，极大地方便了人工核对，并保证所有结果的正确性。并且，因为本发明不依赖于任何医学专业知识，对不同的医学待处理文本，标注系统不需要进行任何改动，解决了自动化方法迁徙困难的问题，同时由于不需要IT人员的参与进行更改算法，也有利于节省跨团队的沟通成本。

基于上述方法的另一个实施例中，基于短文本聚类的标注系统还包括多文本对齐模块；