신뢰도에 대한 이해
개념
- 측정도구가 측정대상을 안정적으로 일관성 있게 측정하는 정도
- 동일한 측정대상에 대해 반복적으로 측정할 때 오차가 최소화되고 동일한 측정값을 산출하는 정도
- 측정의 안정성, 일관성, 예측가능성 등으로 표현
차원
- 안정성 신뢰도 : 측정도구를 동일 대상에게 서로 다른 시점에 적용하여 동일한 결과를 얻는 정도
- 동등성 신뢰도 : 하나의 변수를 복수의 문항으로 측정할 경우 상이한 문항들이 일관성 있는 결과를 산출하는 정도
- 코더 간 신뢰도 : 복수의 조사자(코더)가 동일한 대상을 측정할 때 측정결과가 일치하는 정도
- 대표성 신뢰도 : 동일한 측정도구를 상이한 하위집단(계층, 성별, 인종, 연령 등)에 적용할 때 동일한 결과를 산출하는 정도
신뢰도 측정 방법
재검사법(검사-재검사법)
- 신뢰도의 개념에 가장 근접한 방식
- 한 번의 측정이 이루어진 후 동일한 측정도구로 동일 대상을 다시 한번 측정하여 두 측정값이 어느 정도 일관되는지를 비교하는 방법
- 측정값 사이의 상관계수가 높을수록 신뢰도가 높다고 평가
- 적용이 간편하고 측정 결과를 직접 비교할 수 있음
- 두 검사 사이에 제3의 변수 등의 영향이나 첫 번째 검사가 두 번째 검사에 영향을 주는 검사효과가 발생할 수 있음
대안비교법
- 동일한 측정을 목적으로 하는 서로 다른 두 가지 형태의 측정도구로 동일한 대상을 측정한 후 측정 결과 간의 상관관계를 통해 신뢰도를 평가하는 방법
- 복수양식법, 유사양식법, 평행양식법이라고도 함
- 재검사법의 단점인 검사효과를 극복하는 데 어느 정도 유용
- 두 개의 동등한 측정도구를 개발하는 것이 어려움
내적일관성분석법
- 측정도구의 문항 간 일관성 정도를 평가
- 하나의 측정도구를 사용하여 한 번 측정한 후 신뢰도를 평가
- 반분법 : 측정도구의 문항을 반으로 나누어 각각 독립된 두 개의 측정도구로 간주하여 신뢰도를 평가하는 방법
- 크론바흐 알파계수 : 반분법에서 산출 가능한 모든 신뢰도계수들의 평균값으로 신뢰도를 계산하는 방법
타당도에 대한 이해
개념
- 측정한 값과 측정대상의 실제 값과의 일치 정도
- 측정하고자 하는 개념을 얼마나 정확히 측정하였는가에 대한 정도
타당도 측정 방법
내용타당도
- 측정도구가 측정하려고 하는 내용을 얼마나 잘 대표하고 있느냐를 나타냄
- 전문가가 논리적 사고와 분석 과정을 통해 판단
- 통계적 검증이 불가능하며 주로 전문가의 주관적인 판단에 의존하므로 편향이나 오류의 가능성을 배제하기 어려움
기준타당도
- 객관적인 외부 기준에 근거하여 측정도구의 타당도를 평가
- 예측타당도 : 측정도구를 이용하여 측정한 결과가 미래의 사건, 행위, 태도, 결과 등을 얼마나 잘 예측할 수 있는가를 통해 타당도를 평가
- 동시타당도 : 이미 타당도를 인정받은 기존의 측정도구와 새로운 측정도구에 의한 결과를 비교하여 새로운 측정도구의 타당성을 평가
구성타당도
- 이론적 구성개념이나 특성을 잘 측정하는 정도
- 개념구성타당도, 구성체타당도, 구성개념타당도, 개념타당도 등으로 불림
- 수렴타당도(집중타당도) : 동일한 개념을 측정하는 측정문항 결과의 상관관계가 높을 경우 수렴타당도가 높다고 볼 수 있음
- 판별타당도 : 서로 다른 개념을 측정하는 측정문항 결과의 상관관계가 낮을수록 판별타당도가 높음
