[发明专利]使用仿真和虚拟化的基于表现的测试系统和方法

说明书

在本说明书中引用的所有参考文献及其参考文献通过引用结合于本文中，其适合于教导附加的或替换的细节、特征和/或技术背景。

技术领域

本发明总体涉及一种基于表现(performance-based)的测试计算机系统和方法，该测试计算机系统和方法利用仿真和虚拟化技术来允许对不同方案的即兴(extemporaneous)选择，以判断用户对于一个或多个应用程序的技能。

背景技术

基于表现的测试(″PBT″)是一种测验方法，其中候选者必须与真实或模拟的系统交互。PBT将应试者置于一种或多种情形中，其中应试者必须使用他或她的知识，展示他或她的技能、解决常见问题和/或执行故障排除任务，测试设计者(test crafter)相信这些与执行特定任务和活动所需要的专门知识和技能相关。在许多行业和职业中将PBT用于测试能力。例如，经常采用基于表现的测试对消防队员、警官、航空飞行员和飞行甲板船员进行测试。如果他们的测试得分低于关键的表现指标，则将他们送回训练或否则丢掉工作。

PBT可以采取交互式软件模拟的形式，其中测试项目模拟特定软件产品的行为，并且在模拟环境中应试者被要求在该模拟内正确地执行指定功能。交互式软件模拟是一种特别有用的策略，用于测量利用计算机软件程序的熟练程度。不同于使用户线性地经过一系列学习的基于计算机的训练(″CBT″)，交互式软件模拟将用户置于计算机应用的模拟中并且要求应试者执行功能，好象他们使用真实软件一样。交互式软件模拟可以允许应用在该应用不必具有专门的编程″钩(hook)″的情况下以及在真实应用不必呈现在测试工作站的情况下被模拟。这种程序可以是自足(self-contained)的，消除了在不同的操作系统、产品版本和语言之间的变化。

在信息技术密集的时代，公司期待把对了解计算机(computer-savvy)个体的雇用流水线化。这包括评价他们的教育需要。

如果在试用期之后发现雇员无力执行雇用或训练他或她所要做的工作，那么评估潜在和当前的雇员可能是高代价的冒险。在高度竞争和快速发展的领域，到达工作场所的雇员掌握他们的工作所需要的能力是至关重要的。在没有哪个可能的候选者具有所有必要的技能和能力的情况下，测试能指明哪个候选者需要最小的训练量。它还能够展示候选者是否具有技能以开始工作和他们是否具有对材料足够强的掌握来通过在职训练获得其余技能。

计算机表现测试复杂的程度可能变化很大--从测试使用字处理软件的秘书到测试在复杂的计算机系统管理中的专业信息技术。这种大范围变化测试的管理员必须建立满足工作标准的环境。特别地，该管理员必须注意每次给定测试时的有效性和可靠性问题。

有效性指的是测试准确地测量了它意欲估量的技能或技能组的证明。评价测试有效性的方法包括内容、结构和标准验证。内容的有效性指的是通常由主题专家提供的证明，证明测试中的项目覆盖了完成由该测试测量的工作所需要的最重要和频繁使用的知识、技能和能力。结构的有效性指的是测试中的个体项目准确测量了被测主题的证明。标准的有效性指的是总体测试准确地与某个其它的独立测量相关的证明。

可靠性涉及测试提供与用户表现相关的一致的、可重复信息的能力。可靠性是有效性的必要条件。可靠性取决于测试任务的模拟的一致性和对任务的响应等级的一致性。对于测试中介来说，他们计算机表现测试的准确性、有效性和可靠性是主要卖点。

计算机系统管理员可以为PBT频繁地提供完整的网络系统，包括工作站、服务器、应用和文档。计算机网络可能必然伴有连接的集线器、连线和软件。需要人来使该网络运行以提供所期望的应用平台，例如字处理、计算机辅助设计等等。

在主计算机的领域，具有多服务器的网络曾经处理从网站到应用支持、电子邮件和记账的所有事物。随着对更多分离和更多服务的需要的上升，采用更多服务器来应付该需要。然而，设备的增加导致管理人员对以要求的可靠性水平维持每个单位的管理感到困难。

近来已引入一种使用″虚拟机″的方法，其被诸如IBM的公司首先用于主机上。所谓的″虚拟化″是呈现计算资源的逻辑分组或子集以便可以用超过原始配置的益处的方式来访问这些计算资源的过程。术语″虚拟机″涉及形成虚拟化环境的软件，即对客户操作系统来说看起来似乎是硬件但是实际由主机系统模拟和包含的环境。虚拟机的一种类型是IBM的VMware虚拟机。