[发明专利]一种基于过程行为数据的指标体系优度综合评价方法

权利要求书

1.一种基于过程行为数据的指标体系优度综合评价方法，其特征在于，具体建立步骤及相关内容如下：

步骤一：构建优度评价指标体系的指标充要集

优度评价指标体系的指标充要集是指用于构建优度评价指标体系的基础指标集，具有全面、精简与彼此相对独立的特性；指标充要集的构建，按照操作流程分为可能全集初建、指标筛选和充要集提取三个步骤；

可能全集构建是指根据评价对象和评价目的，采用系统分析的方法，按照“自下而上”或者“自顶向下”的顺序对相关指标“广撒网”，形成关于评价对象和评价目的的“指标可能全集”；

指标筛选则是在“指标可能全集”的基础上，根据指标可获取性、计算方法及内容的科学性内容对集合进行筛选，降低指标集的冗余度；最后对评价目标的分解是否完备进行检查，分析指标体系内部各层元素的重叠性与独立性；若出现子目标之间的相互包含，则对重叠的子目标进行合并或剥离，进而提取出指标充要集；建立的指标体系优度评价指标集是衡量指标体系优度的充要集，该集合是在对评价目标层次划分的基础上按照交叉法构建的；

所用的交叉法，是指优度评价的原则维和内容维的交叉；原则维分为目的性、全面性、可行性、协调性及准确性5项，内容维则按信度和效度分为2项；

步骤二：构建优度指标体系的评价框架

(1)指标体系目标贴合度，即按照建立的指标体系达到评价预期目的和评价要求的程度；一方面，利用主观经验，通过专家评议结果的平均值及聚合度来刻画贴合度，另一方面则利用客观数据，根据与评估目标贴合的指标分值百分比进行评价，如果专家对指标体系贴合度的评价结果相对集中，偏差小，相关分值百分比占比高，则认为指标体系与评估目标贴合；

(2)评价要素覆盖度，即所选取的评价指标占所有评价要素的比例；根据评估目的和要求，评估对象会被分解为评价要素全集，而原指标体系对应的要素集，则是从可评价角度，从要素全集中选取的要素子集，以要素子集同要素全集的占比衡量指标体系的覆盖度；

(3)指标内涵清晰度，强调指标内涵是明确的，具体的，不易让参评者产生误解的；该项指标采用在自评报告中，或评估过程中关键数据统计出错率进行评价，超过错误门槛值，则认为指标内涵清晰度差；

(4)指标数据可测度，即指标体系中底层定量指标占比；该指标的设置强调指标的设置不能是定性，抽象的，应设置为可量化评价；尽管定性指标对指标体系整体评价的作用不可忽视，但合理权威的评价体系应保证高的指标可测度；

(5)指标间独立度，刻画指标间信息重叠的程度，反映了指标间的相对独立性；评价要素重复越多，指标体系的重复率越高，独立度越低；

(6)指标体系稳定性，是指具备专业领域知识的不同专家，在使用指标体系进行评价时，所得数据与评价真实值的接近程度；接近程度越高，该指标体系的稳定性越高；

(7)指标赋权合理度，即指标体系中被赋予合理权重的指标个数占比；该指标的设置强调指标体系内部结构的协调，不同主功能指标之间、主功能性指标和指导性指标之间的协调搭配；

(8)指标数据可靠度，即体系底层数据来源可证实的指标个数占同级指标总数的百分比；该指标强调指标数据有说明材料支撑，可被证明和观察，保证指标体系有可靠的基础；

(9)指标使用满意度，该指标是对指标体系用户的满意度调查，具体包括评估产生的结果是否合理，时效是否过时，特殊情况是否被限定，结果是否可直接被采信；此项指标具有典型的事后评价特点，依照专家评议和事后数据统计情况进行综合评估；

步骤三：构建优度评价指标体系模型

(1)指标体系目标贴合度A1

针对给定评估目标或重点关注的评价对象，指标体系目标贴合度包括相关指标的权重贴合度和评价贴合度两个子指标；权重贴合度的计算基于原指标体系相关指标的权重设置，评价贴合度则基于专家意见的统计意见均值和离散度；

1)权重贴合度的计算公式如下：

根据评估目的和要求，若评估对象被分解为m个评价要素，则用下式对原指标体系对第i个评价要素的贴合度b_i进行计算：

b_i＝q_iE_i (公式1)

其中，E_i为原指标体系中与该评价要素相关的指标权重之和，q_i为原指标体系对第i个评价要素的贴合度自适应权重，表达式为k为与第i项评价要素相关的指标个数；引入贴合度自适应权重基于两点考虑：若某一评价要素同某项单个指标一一对应，与其他指标完全无关，则其自适应权重为1，贴合度即为对应的单项指标权重；若多项评估指标均涉及同一评价要素，且指标间不完全独立，则需利用自适应权重求解；

指标体系的权重贴合度计算公式为

2)评价贴合度则利用评价意见均值、聚合度对指标体系的目标贴合度从效度维度进行刻画；若原指标体系中有n个指标，请p个专家对指标体系目标贴合度进行评议，并将评价意见分为r档，即“高”，“一般”，“低”三档，评分分别为1，0.6，0.2，则：

则可求得专家对第j个指标的贴合度评价意见均值c_j为：

式中，c_j是p个专家对第j个指标贴合度评价的期望值；s_jr是第j个指标第r级贴合度的评分值；n_jr表示将第j个指标评为第r级贴合度的专家人数；

评价意见的聚合度能够反映出专家对贴合程度意见是否统一；聚合度越高，说明专家评价的意见越统一，评价期望越可信；基于专家意见数据，借鉴标准差的形式来刻画聚合度的大小，则专家对第j个指标重要程度评价的聚合程度d_j表示为：

若d_j>0.63，则表明意见聚合度高；

指标体系的评价贴合度表示为

其中，W_j为第j项指标在原指标体系内权重；

对权重贴合度、评价贴合度分别在赋权且可得指标体系贴合度的计算模型为：

(2)评价要素覆盖度A2

指标体系的评价要素覆盖度是衡量指标体系全面性的重要指标；结合评价目标分解出由m个评价要素集形成的集合G＝{G₁，G₂，…，G_m}，现有指标体系反映的要素集为t个评价要素形成的集合I＝{I₁，I₂，…，I_t}；若m＝t，且指标不重复，则表明指标体系对评价要素实现全覆盖；

若各评价要素的重要性相同，则评价要素的覆盖率的计算公式为：

A2＝t/m (公式7)

若各评价要素的重要性不同，则为各评价要素设定相应的权重，按照指标集反映的要素权重之和占比求解；

(3)指标内涵清晰度A3

指标内涵清晰度同样采用客观数据和主观经验相结合的方式进行评价；一方面以各项指标的统计数据错误率为依据数据，对指标内涵的清晰度进行界定；若第j项指标统计数据错误率超过门槛值，则认为该指标内涵清晰度存在问题，其计算模型为

b_j＝1-e_j/N_j (公式8)

其中e_j为第j项指标统计出错的次数，N_j为该指标的样本数；进而得到指标内涵清晰度的信度评价为

其中W_j为第j项指标的权重；

另一方面，对单个指标的内涵清晰度划分为“清晰”、“一般”、“模糊”三个等级，并分别赋值1，0.6，0.2；借鉴公式(3)～(5)得到整个指标体系清晰度的效度评价

对清晰度的信度和效度分别在指标内赋权且得到指标体系贴合度的计算模型为：

(4)指标数据可测度A4

指标可测度，即指标体系中底层定量指标占比；该指标的设置强调指标的设置不能是定性，抽象的，设置为可量化评价；对于主观性强的指标也应尽可能通过清晰的阶梯化评价进行评估；尽管定性指标对指标体系整体评价的作用不可忽视，但合理权威的评价体系应保证较高的指标可测度；

若原指标体系的指标总数为n，可量化的底层定量指标个数为f，则指标可测度表示为A4＝f/n (公式11)

(5)指标间独立度A5

指标体系的独立度用指标体系重复率的倒数来度量；用T_i表示评价要素集的第i个评价要素被涉及的次数，则评价要素集G被给定评价指标集重复的次数集为T＝{T₁，T₂…，T_i…，T_m}；

1)若各评价要素的重要程度相同，则指标体系独立度为

2)若各评价要素的重要程度不同，评价要素集对应的权重集为{w₁，w₂，…，w_i…，w_m}，则指标体系重复率为：

可知A5≤1；若A5＝1，则指标集中各指标不存在重叠或交叉；A5越小，各指标重叠交叉现象越严重，因此，根据较少重叠性原则，A5取值应尽可能接近1；

(6)指标体系稳定性A6

假设存在一组量化判断数据完整地反映被评价对象的真实水平，而如果专家量化判断指标体系给出的结果与这组数据越“相似”，则认为指标的稳定性越好；通常情况下，这组可完整真实反映评价对象真实水平的数据是不可获得的，在操作中，通常选取所有参与评价的专家意见平均值，或更掌握全局实际情况的个别专家意见形成平均值作为“相对真实值”；

设参加判断、量化的专家人数为p，专家j’对指标的评分集为X_j’＝{x_1j’，x_2j’，…，x_jj’…，x_nj’}，其中对第j项指标的评分为x_jj’，并将专家组评出的的平均分数组Y＝{y₁，y₂，…，y_j…，y_n}作为理想数据组，其中第j项指标的评分平均值y_j表示为：

然后计算每一个专家给出的评价数组与该组理想数据的差异程度ρ_j’：

其中，表示原指标体系中n项指标的平均评分值；

则指标体系的稳定性系数为A6：

以上稳定性系数计算方法的统计学含义是以专家组量化、判断指标的p组预测结果的均值作为理想值，计算p组数据与其平均值的差异程度，反映专家组采用统一指标体系p次量化、判断数据的差异性；A6越大，表明采用该组量化、判断数据对于统一指标体系得出的数据差异性越小，其稳定性越高；反之，A6越小，指标体系量化、判断的稳定性就越差；

(7)指标赋权合理度A7

指标赋权合理度，即指标体系中被赋予合理权重的指标个数占比；该指标的设置强调指标体系内部结构的协调，不同主功能指标的搭配以及主功能性指标和指导性指标搭配的协调；赋权合理度的评价采取专家评议的方式开展；

指标总个数为n，专家个数为p，认为指标赋权不合理的专家意见总数为u，则指标赋权合理度表示为A7＝1-u/np (公式17)

另外需要注意的是，提出一项指标赋权不合理则意味着需从其他指标处调整，此处需留好专家意见作为后续权重调整的依据；

(8)指标数据可靠度A8

指标可靠度，即体系底层数据来源可证实的指标个数占同级指标总数的百分比；该指标强调指标数据被证明和观察，有数据和相关说明材料支撑，保证指标体系有可靠的基础；该指标的度量有两种方式：一种是既有数据，又可以被权威部门溯源，则指标体系的可靠度可直接按照下式计算

其中可溯源指标数为v，相应的第j项指标权重为W_j；

若指标数据无法被权威部门溯源，则需借助专家打分；指标数据的可靠度分为“可靠”，“一般”，“不可靠”3个等级，对应的评分为1，0.6，0.2；由专家对指标数据的可靠度进行评定，有定量数据支撑的指标更可靠，具体指标的结果比综合指标结果更可靠；

借鉴公式(3)得出单个指标可靠度的评价则指标体系可靠度为：

(9)指标使用满意度A9

由被评方及委托方进行评分，分别就指标数据统计渠道是否通畅，评估模型是否合理，特殊情况是否被考虑三个方面进行评价；评价标准为：若均达到要求，评分为1，若有一方面未达到要求，评分为0.8，有两方面未达到要求评分为0.3，均达不到要求评分为0；设被评方及委托方个数为P，则评价模型为

式中，其中n为原指标体系中指标总数，u_jz为第z个用户给第j项指标的评分，W_j为第j项指标的权重；

步骤四：构造优度合成函数

综合评价指标权重Q_i确定方法概括起来，分为三类：主观赋权、客观赋权和组合赋权；主观赋权是利用专家的知识和经验，对实际问题作出判断而给出权重，代表的有Delphi法，AHP法；客观赋权法则是根据评价对象的实际数据，通过数学处理来赋权，有变异系数法、复相关系数法；组合赋权法的产生则是为了克服主观赋权法和客观赋权法的弊端，在实际确定权重是主客观相结合，其本质是对单一赋权法所得的权重结果再次进行组合的方法；主观赋权法体现了指标的价值量，客观赋权法体现了指标的信息量，主客观组合赋权，二者的特点兼而有之，在操作时根据实际情况选用适宜的权重确定方法；

根据前面分析的评价内容，建立指标体系“优度”评价的目标函数Z_sup：

Q_i为体系优度评价模型中各指标的权重，其值根据评价目的和评价组织的要求来设定，A_i为各指标评价结果。