신뢰도에 영향을 미치는 요인과 신뢰도의 제고방법

측정도구가 측정하고자 하는 현상을 일관성 있게 측정하는 능력을 '신뢰도'라고 하는데 어떤 측정도구를 사용해서 동일한 대상을 측정하였을 때 항상 같은 결과가 나온다면 이 측정 도구는 신뢰도가 매우 높다고 할 수 있습니다. 신뢰도에 영향을 미치는 요인과 검사-재검사 신뢰도에 영향을 미치는 요인, 신뢰도의 제고방법에 대해 알아보겠습니다. 

신뢰도에 영향을 미치는 요인

① 신뢰도 추정방법(검증방법)

 신뢰도를 추정하는 각 방법은 오차를 포함하는 내용이 서로 다르므로 동일한 검사에 여러 가지 방법을 동시에 사용하여 얻어진 신뢰도 계수는 다를 수밖에 없다.

② 검사길이

신뢰도는 검사의 길이가 길수록 높아진다. 이는 표집이 크면 클수록 전집의 모 수치를 추정하는 추정치가 더 정확해지고 표집의 오차가 적어지기 때문이다.

③ 집단의 이질성

동일한 검사의 경우 집단의 성질에 따라 신뢰도가 달라진다. 모든 조건이 동일한 경우에 이질 집단일수록 관찰변량이 커지며, 그로 인해 검사 결과의 신뢰도가 높아진다.

④ 속도요인

수검자에게 주어지는 검사문항에 대한 응답시간제한 정도를 말한다. 속도요인을 많이 포함하면 할수록 신뢰도가 과대평가된다.

⑤ 검사 제작 및 실시

쉬운 문항부터 배열하면 신뢰도가 높아진다. 문항 간 상호의존적 종속적인 문항들이 있는 경우 신뢰도는 낮아진다. 또한 수검자를 기만하거나 감정적으로 자극하는 경우, 수검자의 추측을 유도하는 경우 신뢰도는 낮아진다.

⑥ 수검자 요인

지능 수준이 높은 집단의 경우 낮은 집단에 비해 신뢰도가 낮다. 또한 성격검사나 흥미검사의 경우 청소년 집단이 중년층 집단에 비해 신뢰도가 낮다.

검사-재검사 신뢰도에 영향을 미치는 요인 

① 검사요인(테스트 효과)

검사 간 시간 간격이 짧은 경우 앞선 검사에서 응답했던 내용을 반복함으로써 검사 결과에 영향을 미칠 수 있다.

예) 동일한 수검자를 대상으로 유사한 시험문제나 조사도그로 반복 측정하는 경우, 보통 처음의 결과보다 나중의 결과가 좋게 나올 가능성이 높다.

② 성숙요인(시간의 경과)

검사 간 시간 간격이 긴 경우 측정대상의 속성이나 특성이 변화하여 검사 결과에 영향을 미칠 수 있다.

예) 아동을 대상으로 한 운동프로그램이 성장에 미치는 영향을 측정하는 경우, 아돈은 운동에 의해 성장한 것일 수도 자연적인 발달에 의해 성장한 것일 수도 있다.

③ 역사요인(우연한 사건)

측정기간 중에 검사자의 의도와는 상관없이 일어난 통제 불가능한 사건이 검사 결과에 영향을 미칠 수 있다.

예) 직업훈련과 취업률 간의 상관관계를 측정하는 경우, 직업훈련 기간 중 우연히 경기침체 현상이 발생되었다면 취업률은 직업훈련과 관계없이 낮게 나타날 수 있다.

④ 물리적 환경의 변화

두 검사 시기의 물리적인 환경 변화(온도, 날씨 등)가 검사 결과에 영향을 미칠 수 있다.

예) 검사 상황이 처음 편안한 분위기에서 이후 위협적인 분위기로 변하게 되는 경우 수검자의 응답 태도 또한 변하게 된다.

신뢰도의 제고방법

① 신뢰도 제고를 위한 기본원리(Maxmincon Principle)

• 체계적 분산의 극대화 : 체계적 분산은 독립변수에 의해 영향을 받는 종속변수의 분산을 극대화함으로써 독립변수가 종속변수에 미치는 영향을 명확히 하도록 한다. 
• 오차분산의 극소화 : 신뢰도와 타당도가 높은 측정도구를 사용하여 체계적 오류와 비체계적 오류를 축소함으로써 측정상의 오차를 최소화한다. 
• 외부변수의 통제 : 연구 목적과 관련이 없는 외부변수들을 무작위할당, 변수의 제거 등의 방법을 통해 효과적으로 통제한다.

② 신뢰도 제고를 위한 구체적인 방법

• 항목의 명확한 구성 : 측정도구가 되는 항목은 누구에게나 동일하게 이해되도록 명백하게 구성해야 한다.  
• 측정상황의 분석 일관성 유지 : 측정의 신뢰도를 떨어뜨리는 요인에 대한 상황분석을 실시하며, 표준화되고 잘 통제된 조건하에서 측정도구를 적용하도록 한다. 
• 항목의 추가적 사용 : 측정도구가 충분히 믿을 만한 것이 못될 경우 동일한 종류와 질을 가진 항목을 추가로 사용하도록 한다. 
• 대조적인 항목들의 비교 분석 : 측정도구가 되는 각 항목의 성격을 비교하여 서로 대조적인 항목들을 비교 분석한다.
• 표준화된 지시와 설명 : 측정도구의 사용이나 응답에 있어서 가능한 분명하고 표준화된 지시나 설명을 함으로써 측정오차를 줄이도록 한다.