[发明专利]市场监察系统及方法

说明书

技术领域

本发明涉及计算机信息技术与金融市场技术领域，尤其涉及一种监察交易安全的市场监察系统及方法。

背景技术

现有的国内外证券市场监察系统主要以监测量价异动为主，只有少数几个系统集成了文本挖掘功能来分析信息对市场的影响。目前功能比较完备的文本挖掘监管系统是美国金融监管局自2001年12月投入运行的SONAR系统。该系统每天处理约1万条新闻和SEC的信息披露，评估2万5千个证券的价/量模型，通过对违规事件的安全级别进行模型估计，给出事件的概率评分值。但是当前公开的相关文献极少且未涉及其算法与实现细节。另外，澳交所在2004年引入互联网金融投资谣言搜索系统，该系统每小时能够扫描4万篇网络信息，识别属于谣言的文章精度仅达到50％。

SMARTS等主要海外证券市场监测系统也加强了对文本的自动分析处理功能，功能主要集中于在新闻和公司财务报告中对关键事件和关键信息进行检索和抽取。同时，SMARTS公司也在积极进行文本挖掘技术的开发，但目前还没有成熟的集成产品。在国内，证券市场信息监察也刚刚起步，具体的市场监察产品还较少。

在人工智能研究中，常识知识是指可由普通人预知的信息，它是解决人工智能或知识工程技术瓶颈难题的一项关键措施。现在已经有许多常识知识库被建立，比较有代表性的有Cyc，DBpeida和Wordnet。Cyc知识库创建于1984年，现包含上千万的事实和关系描述。DBpedia则是从wikipeida里面抽取得到的RDF格式的记录，它包含4百万的事物描述和4.7亿的事实描述，涵盖了人物、地点、公司等多类信息。Wordnet是对英语语言的词汇描述，包括对同义词、近义词等词汇之间关系的总结。在处理市场信息时，信息本身纷繁复杂，因此，常识知识库是处理大数据的一个较好的选择。

现有的研究已经将常识知识引入到文本信息的处理中，其研究方法主要是利用词汇之间的关系，对文本特征进行处理。例如Scott和Green利用Wordnet中的近义词关系来对文本中的特征进行扩充。Hotho等人则利用Wordnet中上下层关系对文本中的名词和动词进行汇总。还有一类研究利用Wikipedia中词条的描述信息对相关文本进行扩充。

目前，在金融文本挖掘领域，国外高校和研究机构对自动文本分析方面的研究着重于对英文文本特征的构建和机器学习模型的选择(如表1所示)。信息内容涵盖了新闻、博客、年报以及研究报告等。预测的市场指标包括股价趋势、汇率趋势、市场指数、风险值和股票收益等。采用的文本特征包括词袋(Bagofwords)、名词短语(NounPhrase)以及命名实体(NamedEntity)等，也有一些研究采用了专家定义的词汇表作为文本特征。常用的分类器包括了k近邻、和支持向量机等。相关的研究成果既有通过预测给出风险提示的，也有用挖掘出的信息指导日内高频交易的。

表1英文金融文本分析研究现状

业内专业的信息分析服务提供商专注于对文本信息的量化表示，该类系统主要被投资机构用于进行量化交易(如表2所示)。系统的核心是借助于自然语言处理和文本挖掘技术，自动分析新闻事件的相关性、情感性和新颖性。国外主要提供信息分析服务的公司主要有RavenPack，ThomsonReuters和RecordedFuture。RavenPack实时扫描各类信息提供终端收集到的新闻文本，一旦有新闻加入到数据库，系统会对该文本通过一系列的情感性指标来进行量化衡量。ThomsonReuters也提供了自动新闻分析的服务。同样对于一条实时新闻报道，系统可以自动分析新闻事件的情感性，相关性和新颖性。相关性由0到1之间的数值来衡量。对于情感性，该系统用0到1之间的数值分别衡量了利好，中性和利空的概率。另外，该类系统通过新闻发布的时间和关键词出现的位置来确定该报道的新颖性。RecordedFuture公司提供了更为丰富的图形分析界面。该类系统通过对一批新闻进行时间、来源和实体关系的分析，在界面中将新闻关系进行图形化直观展示。就单个新闻的量化表示，系统关注于新闻事件的利好概率和利空概率。

表2国外主要新闻分析软件比较