교육평가 - 신뢰도의 개념, 타당도와 신뢰도의 관계, 신뢰도 추정방법

 

	교육평가 14	신뢰도

 

1. 신뢰도의 개념

1) 타당도가 측정하고자 의도하는 것을 어느 정도 충실하게 측정하고 있느냐의 개념인 반면, 신뢰도는 ‘얼마나 정확하게’, ‘얼마나 오차없이’ 측정하고 있느냐의 개념이다.

2) 신뢰도는 평가도구가 측정하고 있는 정도의 일관성, 항상성, 신빙성을 나타내는 개념이다.

3) 신뢰도는 주로 계수로 수량화된다.

 

2. 타당도와 신뢰도의 관계

한 검사가 측정하는 전체 영역(관찰치)
타 당 도	비타당도 부분	오 차 (잡음)
←──── 신뢰도(신호) ────→
<타당도, 신뢰도, 오차의 관계>

 

1) 한 검사가 측정한 검사치에서 오차부분을 빼버리면 나머지는 신뢰도가 되며, 이 신뢰도는 타당도와 비타당도 부분으로 구성된다.

2) 즉, 신뢰도가 있어야 타당도가 보장이 되므로 신뢰도는 타당도의 필요조건이 된다.

3) 그러나 신뢰도가 높다고 해서 반드시 타당도가 높아지는 것은 아니다.

 

3. 신뢰도에 접근하는 방법

1) 표준오차 접근방법

① 이것은 단일한 측정대상을 같은 측정도구를 가지고 여러 번 측정한 결과가 어느 정도로 같으냐에 기초를 둔 신뢰도 접근법으로 '개인내 변산 접근', '측정오차 접근'이라고도 한다.

② 여러 번 측정한 결과들이 추정치를 중심으로 변산되어 있는 구간을 ‘신뢰구간’이라고 하고, 이 구간이 좁으면 좁을수록 측정치들이 거의 유사하다는 의미이므로 신뢰도가 높다고 보는 것이다.

2) 상대적 순서 접근법

① 한 집단의 피검사자에게 측정을 두 번 실시하고 첫 번째 실시했을 때의 측정치의 상대적 순서와 두 번째 실시했을 때의 상대적 순서가 어느 정도 일치하느냐로 신뢰도를 평가하는 방법으로 '개인간 변산 접근'이라고도 한다.

② 예컨데, 한 집단의 학생들(200명)의 체중을 처음에 달아보았을 때의 순위와 두 번째 달았을 때의 순위에 차이가 거의 없다면 신뢰도가 높다고 보는 것이다.

③ 이 개념은 측정치의 안정성, 신뢰성, 예언성을 관심의 대상으로 하는 것이다.

 

4. 신뢰도의 추정 방법

1) 재검사 신뢰도

① 재검사 신뢰도는 한 개의 검사를 같은 집단에게 두 번 실시해서, 그 전후의 결과에서 얻은 점수를 기초로 신뢰도를 추정하는 방법이다.

② 이것은 전후의 점수 사이에 어느 정도의 안정성이 있느냐를 보는 관점이기 때문에 안정성 계수라고도 한다.

③ 이 방법은 검사 실시에서의 여러 가지 조건을 통제하기 어렵기 때문에 진짜 신뢰도보다 과대 추정될 가능성이 많다.

2) 동형검사 신뢰도

① 동형검사는 두 개의 검사가 표면적인 내용은 다르지만 동질적이며 동일하다고 추정할 수 있는 문항으로 구성된 검사를 말한다.

② 동형검사 신뢰도는 미리 두 개의 동형검사를 제작하고, 그것을 같은 피험자에게 실시해서 얻은 점수를 통해 신뢰도를 추정하는 방법으로 ‘동형성계수’라고도 한다.

③ 난점 : 거의 같거나 완전히 같은 동질적인 검사를 제작하기 어렵다는 것이 난점이다.

3) 반분검사 신뢰도

① 한 개의 검사를 한 피험집단에게 실시한 다음, 이 검사를 문항의 내용과 구성에 있어 동질적인 두 부분으로 나누고, 각 부분을 서로 독립적인 검사로 생각하여 그 점수사이의 일치여부를 통해 신뢰도를 추정하는 방법이다.

② 이는 동질성 계수라고도 한다.

4) 문항내적 합치도

① 문항내적 합치도는 한 검사에 있는 문항 하나 하나를 각각 독립된 별개의 검사로 간주하여 그들 사이의 합치성, 동질성, 일치성을 종합하여 신뢰도를 추정하는 방법으로, 쿠더-리차드슨이 개발하였기 때문에 쿠더-리차드슨 방법(Kuder-Richardson)이라고도 한다.

② 이 방법은 문항의 난이도가 거의 비슷하고, 그 범위가 .30 - .70 정도, 즉 아주 어려운 문항이나 아주 쉬운 문항이 별로 없을 때 적절하다.

③ 이 방법의 계산으로 가장 잘 알려져 있는 것이 KR-20, KR-21이다.

④ KR-20은 문항이 이분문항이어서 문항점수가 0과 1로만 계산될 때 사용하는 공식이며, KR-21은 문항점수가 연속변수이며 문항의 난이도가 같다는 가정일 때 사용한다.

5) Cronbach의 α계수

: 최근 많은 관심을 받고 있는 신뢰도 추정 방식으로, 다른 신뢰도 추정방식이 상관계수에 근거하고 있는 반면 이것은 변량분석에 근거하여 한 개의 검사를 한 집단에게 실시하고 거기에서 오차변량을 제외한 진점수 변량을 추정해 보고자 하는 것이다.

 

5. 신뢰도를 높이는 방법(오차변량의 통제)

1) 문항수가 많을수록 : 문항수가 많으면 많을수록 우연적 오차(추측)에 의한 영향을 적게 받으므로 신뢰도가 높아진다. 그러나 문항 수를 많이 할 경우 문항의 대표성이 떨어지게 되므로 타당도가 신뢰도에 비례하여 높아지지는 않는다.

2) 문항의 난이도가 적절할수록 : 문항의 난이도가 적절해야 신뢰도가 높아진다. 검사가 너무 어렵거나 쉬우면 검사불안과 부주의가 발생하여 진짜 능력을 발휘하지 못하게 되기 때문이다.

3) 문항의 변별도가 높을수록 : 변별도가 높은 문항을 많이 포함하고 있는 검사가 문항의 변별도가 낮은 문항을 많이 포함하고 있는 검사보다 신뢰도가 높다.

4) 문항의 출제 범위가 좁을수록 : 검사문항의 측정범위가 보다 좁을 때 신뢰도가 높아진다. 검사내용의 범위가 좁으면 문항간의 동질성을 유지할 수 있기 때문이다.

5) 검사의 시간이 길수록 : 검사의 속도를 강조하는 속도검사보다 누구나 능력껏 풀어 볼 수 있도록 되어 있는 역량검사가 신뢰도를 높일 수 있다.

7) 문항표본이 적절할수록 : 한 검사에 포함되어 있는 문항표본이 문항 모집단을 잘 대표하도록 표본 될수록 신뢰도가 높아진다.

8) 검사 환경이 동질적일수록 : 검사 장소의 온도, 밝기, 소음, 시간 등이 일정할수록 신뢰도가 높아진다.