[发明专利]基于大数据的软件工程知识库的自动化构建方法及系统

说明书

本发明属于软件工程技术领域，公开了一种基于大数据的软件工程知识库的自动化构建方法及系统，基于大数据的软件工程知识库的自动化构建系统包括：数据获取模块、可行性分析模块、信息存储构建模块、匹配模块、开发模块。本发明通过数据获取模块根据关键指标来反映某一部分数据的数据形态；同时公开一种基于大数据的软件工程知识库的自动化构建方法。本发明可以简单、快速、完整的反映数据的数据形态；同时本发明通过匹配模块可以智能获取开发相关信息经验，便于工作人员有效利用历史经验和相关规程及时处理开发问题，极大提高工作效率。

技术领域

本发明属于软件工程技术领域，尤其涉及一种基于大数据的软件工程知识库的自动化构建方法。

背景技术

目前，业内常用的现有技术是这样的：

软件工程是一门研究用工程化方法构建和维护有效的、实用的和高质量的软件的学科。它涉及程序设计语言、数据库、软件开发工具、系统平台、标准、设计模式等方面。在现代社会中，软件应用于多个方面。典型的软件有电子邮件、嵌入式系统、人机界面、办公套件、操作系统、编译器、数据库、游戏等。同时，各个行业几乎都有计算机软件的应用，如工业、农业、银行、航空、政府部门等。这些应用促进了经济和社会的发展，也提高了工作效率和生活效率。然而，现有的软件工程知识库的自动化构建复杂、速度慢；同时遇到问题无法及时获取解决，工作效率低。

然而云计算在提供多种高效弹性的服务的同时，也遇到很多挑战和亟需处理的问题。随着数据的爆发式增长，根据国际数据公司(IDC)的最新统计分析，全球产生和复制的数据以每2年翻一番的速度激增，到2020年，全球数据总量将达到44ZB。这些大量的数据将会给云服务器带来了前所未有的挑战。另一方面，存储在服务器中大量的冗余数据就是限制云存储发展的另一大瓶颈。根据EMC的调查报告显示，随着云端数据的快速增长，云存储中的冗余数据在备份应用中达到80％以上，在文件系统中已经达到60％以上，这些冗余数据消耗着大量的存储资源和管理资源。这就不可避免地给服务器带来了巨大的数据存储开销，并造成网络传输带宽的浪费，大量的重复数据将会消耗大量的计算开销和存储开销。因此，如何通过删除重复数据从而保证数据存储的高效性成为了亟待解决的问题。为了解决上述问题，数据去重技术应运而生，通过数据去重技术可以消除数据冗余，相同文件只保留一个物理副本，从而有效降低用户端上传数据耗费的带宽及节省服务器端的存储空间。对于云计算平台而言，数据去重不仅可以减少存储时付出的硬件成本，还可以提升存储空间的利用率，提高访问效率。数据去重存储技术目前广泛应用于商业云存储及数据备份服务，例如Dropbox、Mozy和Memopal等商业存储中。然而在去重技术在节省用户和云服务器大量的存储与管理资源的同时，出现了许多安全问题。其中最严重的问题之一就是标签欺骗攻击。标签欺骗攻击指的是敌手并不拥有数据，而服务器只是使用简单的询问数据的标签的方式判断一个新的用户是否拥有与服务器存储的数据是否相同。如果标签一致，则新的用户通过服务器的验证，云服务器就允许新的用户访问存储在云服务器上的数据而不需要用户再次上传数据。因此，敌手可以通过穷举方案或者各种其他攻击方案获得数据的标签，从而获得云服务器数据的访问权限。为了解决这一问题，许多数据拥有证明方案被提出，使用数据拥有证明方案可以让云服务器有效验证新的用户是否拥有服务器存储的数据。只有当用户通过服务器的数据拥有证明之后，用户才允许访问存储在云服务器上的数据。然而，现有的方案只针对于相同的数据拥有证明，并没有方案可以实现相似的数据拥有证明。实际上，对密文数据进行相似数据拥有证明是困难，这是因为用户的数据通常以密文的形式存储在云服务器上，如果使用传统加密方案，不同数据的密钥选择是随机选择的，因此即使是相似的数据加密之后也会获得相差度很大的密文数据，云服务器就无法判断这些密文数据的明文是否是相似的，这也就阻碍了相似数据拥有证明的实现。如果相似数据拥有证明方案可以实现，则云服务器将进一步提升数据去重的效率，即可以实现相似数据的去重，这将进一步提升云服务器存储空间的利用率并减少带宽浪费。