[发明专利]一种“生评教”系统有效性的定量分析方法

摘要

本发明公开了一种“生评教”系统有效性的定量分析方法。通过收集多个测评学生使用“生评教”测评表对多个被测评教师的多次重复测评结果，计算“生评教”系统总体的重复性、再现性和教师间变差，进而基于％R&R和数据分级数n_dc定量判断“生评教”系统的总体有效性。若“生评教”系统无效，进一步定量分析“生评教”系统各评价指标的有效性。将无效的评价指标作为进一步改进方向；若各评价指标均有效，则将测评学生及测评方法作为进一步改进方向。应用本发明可确定“生评教”系统的有效性、有效程度，及“生评教”系统的改进方向。

主权项

1.一种“生评教”系统有效性的定量分析方法，其特征在于，包含如下步骤：①进行“生评教”系统有效性定量分析所需测评数据的收集，步骤如下：步骤1.1：选定n≥5位有代表性的教师，可为如下教师群体代表：近3年新入职且入职前无教学经验的青年教师群体，担任新课程教学任务的教师群体；具有5‑8年教学经验的教师群体；具有12年以上教学经验的老教师群体，教学名师，教坛新秀，校级以上讲课比赛一等奖获奖教师群体；步骤1.2：指定同一教学班中的k≥10位学生作为测评人员，为保证测评数据的有效性，所选择的k位学生需为被测评教师所担任课程的教学班中的学生，且其上个学期的量化测评总分应排在所在专业所有学生的前50％；步骤1.3：让学生1‑k分别使用“生评教”测评表对所选n位教师测评，需对“生评教”测评表中各子评价指标分别测评打分并求和计算出总分；步骤1.4：每间隔1周，重复步骤1.3，共g≥2次；②测评数据预处理：在进行“生评教”系统有效性定量分析前，需对测评数据进行预处理，利用质量管理工程统计过程控制中的极差控制图这一工具，去除总分存在异常的学生的所有测评数据，包括如下步骤：步骤2.1：绘制总分的极差控制图，以每个学生对每个教师g次重复测评的总分为1个子组，共个k×n个子组，按学生序号排序，每个学生有n个子组；计算极差控制图的上下控制限；按序以每个子组的g次重复测评总分的极差在极差控制图上描点；步骤2.2：将存在子组的g次重复测评总分的均值超出极差控制图上下控制限的学生的所有测评数据去除；步骤2.3：对剩余的学生的测评数据重复步骤2.1和步骤2.2，直至总分极差控制图受控为止；步骤2.4：将剩余s个学生随机分为m＝s/t组，每组含t≥3个学生；若m<2，则跳转至步骤①，重新进行测评数据收集；否则，若s/t的余数y不为0，则将多余未分配的y个学生逐一分配到各组，直至分配完为止；将每组学生视为1个评价人，分别求该组所有学生对每位教师每次测评数据中各子评价指标和总分的均值，作为该评价人对每位教师每次测评的测评数据；得m个评价人对n位教师的g次重复测评的测评数据；③“生评教”系统总体的重复性分析：计算每个评价人对每位教师g次重复测评总分的极差，求m×n个极差的均值然后计算出重复性变差EV，如式(1)所示：式中：d2*为系数，可通过极差个数m×n和产生单个极差的数据个数g，查d2*系数表如《测量系统分析》，吴遵高，北京：中国标准出版社，2004年，第51页表2.18获得；④“生评教”系统总体的再现性分析：将测评总分按评价人分为m组，每组包括n位教师的g次重复测评总分，计算得到m组测评总分均值的极差Ro，进一步利用式(2)计算得到再现性变差AV：式中：d2*可通过极差个数1和产生单个极差的数据个数m，查d2*系数表如《测量系统分析》，吴遵高，北京：中国标准出版社，2004年，第51页表2.18获得；⑤“生评教”系统总体的教师间变差分析：将测评总分按被评测教师分为n组，每组包括m个评价人g次重复测评总分，计算得到n组测评总分均值的极差Rp，进一步利用式(3)计算得到教师间变差PV：式中：d2*可通过极差个数1和产生单个极差的数据个数n，查d2*系数表如《测量系统分析》，吴遵高，北京：中国标准出版社，2004年，第51页表2.18获得；⑥“生评教”系统总体有效性评价：利用式(4)、(5)、(6)、(7)、(8)分别计算％R&R，数据分级数ndc，％EV，％AV，％PV：％R&R＝(R&R/TV)                                        (4)ndc＝1.41PV/R&R                                          (5)％EV＝(EV/TV)×100％                                     (6)％AV＝(AV/TV)×100％                                     (7)％PV＝(PV/TV)×100％                                    (8)其中，R&R为重复性和再现性变差，如式(9)所示，TV为总变差，如式(10)所示：利用如下准则判断“生评教”系统的有效性：0≤％R&R≤10％，且数据分级数ndc≥5：“生评教”系统有效，结束“生评教”系统分析过程；10％＜％R&R≤30％，且数据分级数ndc≥5：“生评教”系统在特定条件下可接受，是否需要改进取决于“生评教”系统所需测评结果的精密程度，“生评教”系统改进成本等因素，若无需改进，则结束“生评教”系统有效性定量分析过程，否则转至步骤⑦；％R&R＞30％或ndc＜5：“生评教”系统无效，转至步骤⑦；⑦进行“生评教”系统各子评价指标有效性分析：分别将“生评教”系统总体有效性分析的步骤③‑⑥中的测评总分替换为“生评教”系统各子评价指标得分后执行步骤③‑⑥，对“生评教”系统各子评价指标分别进行有效性定量分析；若所有子评价指标均有效，则将“生评教”系统对各子评价指标测评分加权求和的模型作为进一步改进方向；若存在无效的子评价指标，则将无效的子评价指标确定为进一步改进方向，进一步分析该子评价指标的％EV及％AV，若该子评价指标的％EV小于30％，则将减小该子评价指标的重复性变差作为进一步改进方向，若该子评价指标的％AV小于30％，则将减小该子评价指标的重复性变差作为进一步改进方向；结束“生评教”系统有效性定量分析过程。