[发明专利]一种对话语料的热点抽取方法

摘要

本发明公开了一种对话语料的热点抽取方法，其包括以下流程：根据得到的语料清洗出用于下一步操作的纯对话语料集A，由于对话问答存在多个问题才能组合成完整的问题，此时就通过手工构建的规则依赖将对话结构合并，从而调整为得到结构化的问答集B，依照上述步骤可以将初级语料处理为可抽取的规格化语料，依照不同数据结构可适当调整方法处理为问答集B的双列标准结构，根据得到的标准结构集B进行相同单元合并，合并之后得到初步提纯的问答集合C以及合并的问答频次，进行语义相似度计算，再根据主题与类别确定相似合并的阈值ξ。本方案将规则依赖、后验更新、相似度计算方法结合，为热点抽取与热点发现提供帮助。