高考英语上海卷多元概化理论研究

2021年1月26日发(作者：爱心人士)
高考英语
(
上海卷
)
多元概化理论研究

雷新勇


徐欣幸

(
作者简介：雷新勇，副教授 ，上海市教育考试院；徐欣幸，高级教师，上海市教育考
试院。上海，
200234)
摘要
:
运用多元概化理论对
2002
年高考英语上海卷进行了研究，
结果表明：
2002
年高
考英语上海卷考试结果是可信的，但不同部分测量效果却有 差别。
写作、英译汉、
阅读理解
和语法部分相对测量误差小，分数信度高，测量效果好 ，
而词汇、
听力理解和综合填空部分
分数信度相对较低，
测量效果欠佳或不佳 。
听力理解部分测量效果欠佳的原因是容易题偏多，
难题偏难，
测量效果较好的中等难 度试题偏少；
综合填空部分测量效果欠佳的原因在于试题
偏难。词汇部分测量效果不佳主要的是 因为该部分题量偏少，部分试题偏难也是原因之一。

关键词
:
考英语；上海卷；多元概化理论


高考英语(
上海卷
)
由
7
个部分组成，它们是听力理解
(lis tening Comprehension)
、语
法
(grammar)
、 词汇
(Vocabulary)
、综合填空
(Cloze)
、阅读理解
(Reading
Comprehension)
、
英译汉
(Trans lation)
和写作
(writing)
，
其中语法和词汇侧重考察考生英 语语言知识，
其他
部分侧重考察考生的英语使用能力。
本文运用多元概化理论
(Multivariate
Generalization
Theory
，以下 简称
MGT)
对
2002
年上海市高考英语结果做了研究，以期确定试卷各部 分在考
生语言能力测量中的作用和问题以及整卷的测量效果。

一、研究样本和工具

对
2002
年上海市高考英语结果进行分层抽 样，样本容量
2607
。计算采用
n
提供的
mGENOVA(200 1)
软件。

二、研究方法

MGT
研究由
G研究和
D
设计研究两个阶段组成。由于所有考生必须完成全部试题，本文
G
研究和
D
设计研究均采用多变量单侧面交叉
(p
×
i)
设 计模型进行。

(
一
)
整卷
7
变量
MGT
研究

对样本进行
7
变量
MGT
研究，变量
N
1
指听力理解部分，变量
N
2
指语法部分，变量
N
3
指
词汇部分，变量
N
4
指综合填空部分，变量
N
5
指阅读理 解部分，变量
N
6
指写作部分，变量
N
7
指英译汉部分。< br>
G
研究阶段主要确定
7
个变量观察分数的
3
个方差 分量
(
即考生方差分量σ
(p)
、
试题方
差分量σ
(i)
及考生和试题交互作用方差分量
(
亦称误差方差分量
)
σ(p
×
i))
和
7
个变量间
的协方差矩阵及相关系数矩 阵，
根据这些参数可以确定各个部分在考试中的作用及各变量间
的关系。

G
研究
7
个变量包含的试题数列于表
l
中。

表
1 7
变量
G
研究和
D
设计阶段主要数据

2
2
2

注：变量
N
6
中的试题数是指作文评分标准中的评分类别数。


D
研究阶段主要根据获得的
7
个变量的
G-
系数 、信噪比
(S
／
N -
rel
)
和组合
G -
系数、
组合信噪比，
以及各变量对整个测量贡献的大小。
根据这些参数，可以了解影响整个考试结
果信度的因素，为改进考试提供信息。

(
二< br>)
听力部分
3
变量
MGT
研究

由于整卷< br>7
变量研究中各个变量本身容量的变化，
对其他变量的重要参数，
如概化全域< br>分数方差分量σ
(P)
、相对误差分量盯σ
(rel)
、
G-
系数、信噪比
(S
／
N)
等没有影响，我们
可以根据
7
变量研究中出现的问题，对个别变量再单独进行
MGT
研究。

对听力理解部分，将
20
道试题分为容易题
(
难度系数大于
0.75 )
、中等题
(
难度系数在
0.5
和
0.75
之间< br>)
和难题
(
难度系数小于
0.5)
，相应的变量名为
E
、
M
和
D
，探索不同难度试
题数量的变化对听力理解部分 测试效果的影响。
听力部分
3
变量
G
研究和
D
设计 方案列于表
2
中。
从
D
设计
l
到
D
设计
4
，
中等题数量保持不变，容易题数量递减，
难题数量相应增加；从
D
设计
4
到
D
设计
l0
，容易题数 量不变，难题数量递减，中等题数量相应增加。


2
2


表
2
听力部分
3
变量
MGT
的
G
研究和
D
设计情况



(
三
)
词汇部分
2
变量
MGT
研究

对词汇部分将
l0< br>道试题分为难题
(
难度系数小于
0.5)
和容易题
(
难度系数大于
0.5)
两部
分，分别定义为变量
D
和
E，二者的
G
研究试题数分别为
4
和
6
，通过
D
设计研究难题和容
易题比例的变化及总题量变化对词汇部分测试作用和效果的影响。
表
3
中，
在词汇部分试题
总量不变的前提下，
以
G
研 究为基准，从
D
设计
l
到
.D
设计
2
，容 易题量递增，难题题量相
应减少；从
D
设计
3
到
D
设计
5
，容易题量递减，难题题量相应增加；从
D
设计
6
到
D
设计
8
难题数量不变，容易题数量增加，词汇部分试题总量也相应增加。< br>
表
3
词汇部分
2
变量
MGT
的
G
研究和
D
设计情况


(
四
)
综合填空邵分
3
变量
MGT
研究

将综合填空部分
20
道试题分为容易题
(
难度系数在
0.6
和
0.75< br>之间
)
、中等题
(
难度系
数在
0.4
和0.6
之间
)
和难题
(
难度系数小于
0.4)
，相应的变量名为
E
、
M
和
D
，探索不同难
度试题 数量的变化对听力理解部分测试效果的影响。
表
4
中
G
研究阶段容易 题、
中等题和难
题数分别为
4
、
5
和
11
。从
D
设计
l
到
D
设计
7
，保持中等题数 量不变，容易题数量递增，
难题数量相应减少；从
D
设计
7
到
D
设计
l4
，难题数量保持不变，中等题数量递增，容易
题数量相应减少。

表
4
综合填空部分
3
变量
MGT
的
G
研究和
D
设计情况