[发明专利]一种基于云服务的新型互联网商业情报语义分析技术

说明书

技术领域

本发明涉及一种通过计算机网络从多个数据库获取和集成数据的系统，该系统包括一个整合服务器和几个数据代理器。 

背景技术

随着信息化程度不断加深，企业对情报信息化集成的渴求也日益强烈；互联网持续增长信息资源蕴含了巨量的具有商业价值的信息，成为重要的情报信息源头。目前提供信息定制搜索与情报分析相关产品的公司为数不多，且产品对用户本身的基础信息设施要求高，实施周期长，系统建设和维护成本高，主要客户是超大型企业和政府，普通企业无力承受。 

发明内容

为了克服上述现有技术的缺陷，本发明提供了一种针对企业情报搜集与分析中面临的文本性数据难以小粒度多维度分析的困境，引入一种新型的段落级互联网文本语义分析技术。此技术以段落为语义分析主体，通过文本分词、本体标注与推理、语义概念计算，结合篇章主题矫正等手段，归纳段落语义要点、核心概念、自定义维度标识，为文档提供语义信息更加丰富标注性信息，使得对互联网文本分析更加精细化。采用深度网络数据自动抽取、行业数据源侦测等技术，极大降低了系统对企业信息设施的要求，使其能在千差万别的企业基础信息设施上部署；基于本体的语义计算模型和行业本体的半自动化构建技术，使得基 于字典的语义计算技术真正实用化，实现了高质量的语义搜索，并能适用于不同行业的需求；独创的基于统计和等级认证的情报评价算法、基于最大熵的倾向性分析技术和数据挖掘技术的结合，实现了情报信息的多角度分析功能。本系统不但可以提高企业情报分析的准确度、减少冗余，而且可以在更小粒度、更加微观的分析角度上获得良好效果。此外，对微博等较短文本的分析比之一般的语义分析技术更有效，应用前景广泛。本系统能够为中小型企业提供定制搜索与情报分析服务，大大降低了企业商机情报获取成本，提高获取信息的能力，属国内首创。 

本发明是通过以下方案实现的，一种基于云服务的新型互联网商业情报语义分析技术，通过综合多种数据挖掘和文本提取手段，半自动化构建一种适宜本项目提出的语义计算模型的任意行业的本体系统，并用其指导行业数据源自动发现、采集和基于语义的情报信息搜索，以实现提高搜索、分析质量，降低系统对硬件条件的要求。利用独创的基于统计和等级认证的报评价算法、基于最大熵的倾向性分析技术和多种实用数据挖掘技术的结合，实现对情报数据的倾向性、可信度等多角辅助分析，事件、话题、行业类别、竞争对手等多主体多粒度分析，时间序列、地区分布等多维度的辅助分析。 

本发明的有益效果在于：不仅开发的产品具有良好的市场前景，其推广应用的领域较广，达到的技术水平较高，在国民经济发展中具有十分重要的作用。 

具体实施方式

本项目采用时间序列数据挖掘、文本分类、文本聚类、文本情感倾向分析等手段，为中小企业提供全面的情报分析工作。本发明的实施步骤如下： 

1)文档语义表示和语义本体库建设系统。在本体的指导下，分析句子，得到句子的名词性概念、动作概念和倾向性(详细描述见创新点)，得到语句的语义描述，接着在本体系统的指导下，统计分析段落主要语义指代，然后利用文档篇章结构总结篇章主要描述对象、语义倾向性等语义基本信息，并与文档一起关联存储，以支持语义搜索和情报分析。 

2)行业相关数据探测和抓取：通过两种途径解决采集问题，一是定点采集，通过用户配置采集已知的数据源；另一方面采用我们独创的web行业信息探针，利用行业本体，通过URL链路、搜索引擎跳板等手段，找备选网站，然后验证网站或者子站、子目录是否为企业相关信息、相关密度是什么，并通过网站拓扑、url结构，form表格等等对深度网络(deep web)进行挖掘，以找潜在数据源，由于deep web很多是结构化良好的数据，便于分析，且往往在通用搜索引擎下无法搜索得到，对客户有巨大价值。这种策略在没有损失行业数据收录量的情况下，极大地节约带宽和数据检索量，并提高了数据入库周期，提高实时度。