타당도를 저해하는 요인과 타당도의 제고방법

타당도는 측정하고자 하는 개념을 제대로 반영하는 정도를 의미하며, 어떤 측정수단이 조사자가 의도하지 않은 내용을 측정하는 경우 이 수단은 타당하지 못한 것이 됩니다. 사회과학 영역에서 특히 타당도가 문제시되는 이유는 측정을 간접적으로 할 수밖에 없는 사회과학 고유의 특성 때문입니다. 타당도를 저해하는 요인과 타당도의 제고방법을 살펴보겠습니다.

내적 타당도를 저해하는 요인

① 성숙요인(시간의 경과)

시간의 흐름에 따른 조사대상 집단의 신체적 심리적 특성의 변화 또는 실험기간 동안 나타나는 실험집단의 성숙이 결과변수(종속변수)에 영향을 미친다.

② 역사요인(우연한 사건)

조사기간 중에 연구자의 의도와는 상관없이 일어난 통제 불가능한 사건이 결과변수에 영향을 미친다.

③ 선별요인(선택요인)

프로그램 집행 후 실험집단과 통제집단 간의 결과변수에 대한 측정값의 차이가 프로그램 집행의 차이라기보다 단지 두 집단성원들이 다르기 때문에 나타난다.

④ 상실요인(실험대상의 탈락)

프로그램 집행기간 중 관찰대상 집단 일부의 탈락 또는 상실로 인해 남아있는 대상이 처음의 관찰대상 집단과 다른 특성을 갖게 된다.

 

⑤ 통계적 회귀요인

극단적인 측정갑을 갖는 사례들을 재측정 할 때, 평균값으로 회귀하여 처음과 같은 극단적인 측정값을 나타내 보이지 않는다.

⑥ 검사요인(테스트 효과)

프로그램의 실시 전과 실시 후에 유사한 검사를 반복하는 경우 프로그램 참여자들의 시험에 대한 친숙도가 높아져서 측정값에 부적절한 영향을 미친다.

⑦ 도구요인

프로그램 집행 전과 집행 후에 측정자의 측정기준이 달라지거나 측정수단이 변화함에 따라 정책효과가 왜곡된다.

⑧ 모방(개입의 확산)

분리된 집단들을 비교하는 조사연구에서 적절한 통제가 이루어지지 않은 경우 실험집단과 통제집단의 상호 교류에 의해 실험집단의 영향이 통제집단에 이식될 수 있다.

⑨ 인과적 시간-순서(인과관계 방향의 모호성)

변수들 간의 시간적 우선성이 모호한 경우, 원인변수와 결과변수 사이의 인과관계의 방향을 결정하기가 곤란하다.

외적 타당도를 저해하는 요인

① 연구표본의 대표성

조사연구의 제반 조건들이 모집단의 일반적인 상황과 유사해야 실험 결과를 일반화할 수 있다.

② 조사반응성(반응효과)

연구자가 관찰하는 동안 조사대상자가 연구자의 바람에 따라 반응하거나 스스로 조사대상임을 의식하여 평소와 다른 반응을 보이는 경우 일반화의 정도는 낮아진다.

 

타당도의 제고방법 

① 내적 타당도의 제고방법

• 무작위할당 : 연구대상을 실험집단과 통제집단으로 무작위로 배치함으로써 두 집단이 동질적이 되도록 한다. 
• 배합 : 연구주제에 영향을 미칠 수 있는 주요 변수들을 미리 알아내어 이를 실험집단과 통제집단에 동일하게 분포되도록 한다. 
• 통계적 통제 : 실험설계를 통해 통제할 필요성이 있는 변수들을 독립 변수로 간주하여 실험을 실시한 다음, 그 결과를 통계적으로 분석하여 해당 변수의 영향을 통제한다. 

② 외적 타당도의 제고방법

• 모집단에 대한 타당성 : 표본의 대표성을 높이는 방법으로서, 표본자료가 모집단의 특성을 충분히 반영하고 있는지 파악한다. 
• 환경에 의한 타당성 : 연구 결과가 연구 환경을 벗어나 보다 현실적이면서 다양한 환경에서도 적용될 수 있는지 검토한다.