[发明专利]一种基于过程行为数据的指标体系优度综合评价方法

说明书

本发明提供一种基于过程行为数据的指标体系优度综合评价方法，包括四个步骤；步骤一：构建优度评价指标体系的指标充要集；步骤二：构建优度指标体系的评价框架；步骤三：构建优度评价指标体系模型；步骤四：构造优度合成函数。本发明的核心为一套评估指标体系及计算模型。该体系考虑因素较全，评价模型较丰富，并创新性地给出指标体系目标贴合度和指标内涵清晰度的定量评价模型，为评估工作提供了很好的定量支撑。在实际评估工作中，评估工作者可依托本发明中的优度综合评价指标体系框架，结合实际情况自建或选用本发明提供的计算模型开展优度综合评价，为后续评估提供更为可靠有效的工作抓手。

技术领域

本发明属于多目标综合评价科学与技术领域，具体为一种基于过程行为数据的指标体系优度综合评价方法。

背景技术

在评估工作广泛开展的今天，指标体系优度评价的意义异常重要。针对各类对象建立的指标体系五花八门，各具特点，构成了庞大的“评估指标库”。对这些指标体系进行优度评价，去其糟粕，取其精华，在现实需求的牵引下消化融合，便能形成一套领域内覆盖全面，内涵丰富的高质量指标体系积累，为后续开展基于大数据发掘和自主学习的智能化评价奠定坚实基础。指标体系优度评价提供了一个可以对原指标体系系统全面分析的思路，是开展指标体系标准化分析的第一步，是“评估工作开展情况的再评估”，意义非常重大。

借鉴数学统计中“优度”的概念，“指标体系优度”是指已有指标体系对评价目的的可实现程度。指标体系优度综合评价作为一种综合评估活动,以指标体系为对象，以信度(Reliability)和效度(Validity)为评价内容，通过对评估结构、评估过程的再考查，发现已有指标体系在设计和数据统计方面偏差，进而实现指标体系优化(指标体系信度和效度的提升)。

评估指标体系的信度是指指标数值统计结果的可靠性程度，主要依托客观数据评价。评估指标体系效度是指评估指标在多大程度上描述了评估对象的特征范畴并反映了评估目的,即评估指标反映评估对象客观要素的准确性程度。指标效度的评定主要依托专家，通过主观经验判断指标与所需测量的内容范畴之间关系的密切程度来进行^[1]。

已有众多研究者针对“优度评价”开展过深入的研究。就指标体系优度评价的原则来看，李远远等认为综合评价指标体系的构建要遵循目的性、全面性、可行性、稳定性、协调性和结合性等原则^[2,3]。苏为文，邱东等则认为在对指标体系考察时，可以从齐备性、协调性、可行性、准确性、区分度(辨识度)、冗余度(重叠度)等方面进行考量^[4-6]。彼得格鲁克则在《管理实践》一书中提出针对目标的管理要遵循SMART原则，即准确性(Specific)，可度量性(Measurable)，可实现性(Attainable)，相关性(Relevant)和时限性(Time-bound)。由此可知，目的性，全面性，可行性，准确性和协调性目前学界普遍认可的指标体系设计原则。而在指标体系优度评价的实践中，盛明科等研究人员给出了指标体系效度来的评价方法，但从涵义上看，其效度的量化指标主要为从统计学角度出发的数据数据的一致性的检查。李远远等开展的优度评价内容更为丰富，侧重于评估工作开始前的指标设计^[3]。

到目前为止，针对指标体系优度评价的研究大多“自说自话”：构建一套指标体系，借助Delphi专家评议求得优度评分，主观性过强，其操作过程与原指标体系的评估工作基本割裂，优化意见偏于泛化，指导意见模糊。笔者以为，导致此结果的一个重要的原因是缺乏针对评估事后各类统计数据的再挖掘，仅在指标设计层面讨论体系优化，会错失挖掘出指标数据与评价结论之间规则知识的良机，丢弃利用实证数据对指标体系的调整的机会。我们应看到，评估产生的偏差并不局限于统计性质，指标内涵不清晰导致的对评估问题的理解错误，评价模型过于复杂等因素都是造成评估偏差的原因。

因此，给出一套可对事前设计同事后反馈综合考虑的指标体系优度综合评价方法，用以弥合以往指标体系优度评价与原指标体系关联度不高的问题，使评估工作这在评估工作结束后，可以便捷地借助有数据支撑的优度评价工作进行评估经验积累，在当前显得尤为重要。