교육평가 - 문항분석의 의미(문항난이도, 문항변별도, 문항반응분포, 문항유형 분석)

	교육평가 23	문항분석의 의미

 

1. 문항분석의 의미

(1) 문항분석의 개념

1) 문항이란 한 검사를 구성하고 있는 요소를 말한다.

2) 문항분석이란 검사를 구성하고 있는 문항이 원래 의도한 평가도구의 목적을 제대로 수행할 수 있도록 만들어졌는지를 다양한 측면에서 확인하는 작업을 말하는 것이다.

3) 그래서 ‘문항의 양호도 분석’이라고도 한다.

(2) 문항분석의 종류

: 문항분석은 문항난이도, 문항변별도, 문항반응분포 중심으로 다룬다.

 

2. 평가 형태와 문항분석

(1) 규준지향평가에서의 문항분석

1) 규준지향평가는 학생의 서열을 매기고자 하는 것이므로, 학생들의 성적 차가 많이 나기를 바란다.

2) 그러므로 학생들의 성적 차가 나는 정도, 즉 변산도가 크면 클수록 양호한 문항으로 간주한다.

3) 그래서 문항의 변별도가 높이고, 지나치게 어려운 문항 지나치게 쉬운 문항을 제외하고자 한다.

4) 즉, 문항난이도가 중간 정도되고, 문항변별도가 높은 문항을 양호한 것으로 본다.

 

(2) 목표지향평가에서의 문항분석

1) 목표지향평가는 학생들이 설정한 교육목표에 도달했는지를 파악하기 위해 실시하는 것이다.

2) 그래서 문항이 어렵건 쉽건, 변별력이 있건 없건 관계없이 그 문항이 수업에서 설정한 목표를 잘 반영하고 있느냐의 여부에 관심을 둔다.

 

	교육평가 24	문항난이도

 

1. 문항난이도의 개념

1) 문항난이도(곤란도)는 어떤 문항의 어렵고 쉬움의 정도를 나타내는 지수로, 그 문항에 있어서 전체반응자 중 정답자의 비율을 백분율로 나타낸 것이다.

2) 따라서 정답자가 많으면 문항난이도가 높아지고 정답자가 적으면 난이도 지수가 낮아진다.

3) 문항난이도는 0%～100%의 범위 속의 어느 위치를 나타내게 된다.

4) 일반적인 난이도 계산공식은 다음과 같다.

P = × 100   P : 문항난이도 R : 당해 문항의 정답자 수 N : 전체 반응자 수

2. 문항난이도의 이용

(1) 규준지향 평가의 경우

1) 규준지향 평가는 학생들의 개인차를 자세하게 변별하는 것이 주된 목적이다.

2) 그러므로 난이도가 낮은 문항에서 난이도가 높은 문항까지 골고루 포함되는 것이 바람직하다.

3) 대개 20%～80% 범위 사이의 문항난이도를 가진 문항을 배열하여 평균난이도가 50% 정도에 머무르도록 하는 것이 바람직하다.

 

(2) 목표지향 평가의 경우

1) 학생의 목표 달성 여부를 판단하고자 하는 목표지향 평가에서는 문항의 난이도가 전혀 문제되지 않는다.

2) 즉 목표지향 검사에서는 문항난이도(P)=100 이면 교수-학습이 성공한 증거로 보고, P=0 이면 목표달성을 위해 교수-학습과정을 개선해야 할 증거로 본다.

	교육평가 25	문항변별도

 

1. 문항변별도의 개념

1) 문항변별도는 어떤 문항이 측정하고자 하는 능력의 상하를 얼마나 예리하게 구분해 주느냐 하는 정도를 말하는 것으로, 그 크기를 산출하여 얻은 수치를 변별도지수라고 한다.

2) 어떤 검사의 총점에 따라 피검사자를 상위집단과 하위집단으로 반분했을 때, 상위집단의 정답률이 하부집단의 정답률보다 높으면 변별도가 높은 것이고, 차이가 없다면 그 문항은 상하집단을 변별하는데 아무런 구실을 못하는 것이 된다.

3) 측정하고자 하는 능력의 상하를 정확히 변별한다는 것은 측정하고자 하는 능력을 충실히 재는 것이므로 문항변별도는 문항타당도의 일종이 된다.

 

2. 문항변별도지수의 산출

변별도(D.I) ＝	상위자중 정답자 수 ― 하위자중 정답자수
		총응시자
		2

 

1) 변별도 지수(D.I).는 상관계수와 마찬가지로 -1.00 ～+1.00 사이에 분포된다.

2) 그중 -부호가 붙은 것은 성적의 하위학생의 정답자가 상위학생의 정답자보다 많다는 것이고, 영의 지수 혹은 영에 가까운 지수는 상위학생과 하위학생의 정답자가 거의 같다는 것이므로 변별의 역할을 전혀 못하는 문항이다.

3) 따라서 변별도 지수는 +의 부호를 가지면서 그 값이 크게 나오면 나올수록 바람직하다.

 

3. 문항변별도의 이용

(1) 규준지향 평가

1) 규준지향 평가에서는 성적이 높은 학생과 낮은 학생을 분명히 가려낼 수 있는 문항으로 구성되어 있는 것이 필수이다.

2) 대체로 문항변별도 지수가 최저 .20 이어야 하고 .30 이상이면 만족스러운 수준이라고 본다.

3) 그러나 변별도가 .70을 넘어서면 상위자는 거의 다 맞고 하위자는 거의 다 틀렸다는 의미이므로 상위자와 하위자 간에서의 변별이 이루어지지 않기 때문에 바람직하지 못하다.

4) 따라서 규준지향평가에서는 문항변별도 지수가 .30 이상～.70 이하일 때 가장 바람직하다.

5) 문항변별도는 문항의 난이도가 50% 일 때 최고가 될 가능성이 크다. 문항난이도가 50%라는 것은 정답자가 절반정도 된다는 의미이기 때문이다.

 

(2) 목표지향 평가

1) 학습과제에서 성공한 학생은 각 문항에서 성공할 확률이 높고, 실패한 학생은 그만큼 성공할 확률이 적을 것이다.

2) 문항변별도는 목표지향 평가에 있어서 학습 성공자와 실패자를 구별 해주는 역할을 할뿐이다.

 

 

 

 

	교육평가 26	문항반응분포

 

1. 문항반응분포의 개념

1) 문항반응분포는 문항 속에 포함되어 있는 답지 하나 하나에 학생들이 어떻게 반응했는지를 분석하는 것이다.

2) 이를 통해 문항의 답지가 의도했던 기능이나 역할, 즉 각 답지의 오답이 얼마나 오답으로서의 매력이 있으며, 정답은 얼마나 정답 구실을 했는가 등을 알아보고자 하는 것이다.

 

2. 문항반응분포의 분석

〈문항 가〉 〈문항 나〉

집단	{		(상부)	(하부)	(전체)		답 지	{		H	L	T
답 지		①	10	10	20				①	10	30	40
		※②	100	50	150				②	80	100	180
		③	20	30	50				※③	40	20	60
		④	20	50	70				④	20	0	20
		NR	0	10	10				NR	0	0	0
		N	150	150	300				N	150	150	300

〈문항 다〉

답 지	{		H	L	T
		①	0	0	0
		②	0	5	5
		③	10	20	30
		※④	140	100	240
		NR	0	25	25
		N	150	150	300

 

1) <문항 가>는 정답(※표)에 대부분의 학생이 반응하고 있고, 각 오답지에도 비교적 고르게 학생의 반응이 분포되어 있어서 무난한 반응을 보이는 문항이다.

2) <문항 나>는 정답에 60명의 학생이 반응하고 있는데 반해, 오답지 ②에는 180명이라는 많은 학생이 반응하고 있다. 이것은 정답이 ‘정답구실’을 못하고 있다는 의미이므로 수정이 필요하다.

3) <문항 다>는 정답이 뚜렷하고 오답의 매력이 너무 적어 수정이 필요한 문항이다.

 

3. 문항반응분포의 이용

(1) 규준지향 평가

1) 규준지향 평가의 경우 문항 <가>와 같이 분포되어 있을 것을 이상으로 한다.

2) 규준지향 평가의 각 문항은 약 50% 이상의 학생이 정답에 반응하고 그 나머지가 오답지에 비슷하게 분산되어 있을 것을 기대한다. 이렇게 분산되어 있을 때 학생의 능력차를 예민하게 변별할 수 있기 때문이다.

3) 만약 이같은 반응분포를 보이지 않을 경우 문항표본이 능력 모집단을 제대로 대표하고 있지 못하다는 증거로 받아들인다.

 

(2) 목표지향 평가

1) 목표지향 평가에서는 소수의 학생이 정답에 반응했을 경우 평가문항 자체만의 문제로 보지 않고, 교수-학습 조건이 제대로의 역할을 하지 못해서 학생이 성취수준에 도달하지 못한 것으로 본다.

2) 즉, 문항반응분포 분석에서 얻는 증거는 교수-학습과정을 개선하는데 도움을 주는 정보로 본다.

 

 

	교육평가 27	문항유형 분석

 

1. 문항유형 분석의 의미

: 문항유형 분석이란 형성평가 및 총합평가에서 다루어진 문항반응이 기대하는 학습위계를 제대로 반영하고 있는 지를 분석하는 방법이다.

 

2. 문항유형 분석의 방법

1) 먼저 학습요소를 분석하여 위계에 따라 요소1, 요소2, 요소3, 요소4 등으로 나눈다.

2) 이를 기초로 문항을 제작하고 이에 대한 반응을 분석했을 때 아래와 같은 형태로 나타날 수 있다.

3) 허용유형에 속하는 반응일 때 문항위계는 올바르게 되어 있는 것으로 판단할 수 있고, 비허용유형에 속할 때 학습요소의 위계에 어떤 오류가 있는 것으로 판단할 수 있다.

 

						4
				3
		2
1
＋ ＋ ＋ ＋ －		＋ ＋ ＋ － －		＋ ＋ － － －		＋ － － － －	}	허용유형
－ － －		＋ － －		＋ ＋ －		＋ ＋ ＋	}	비허용유형

 

기타 형태 전부

(＋는 정답, －는 오답을 표시함)