최근 여론조사에서 정당지지도가 조사마다 다르다. 예를 들어 한국갤럽(10.24~26) 조사에서 국민의힘 35%, 민주당 32%다. 리얼미터(10.26~27) 조사는 국민의힘 36%, 민주당 48%다. 두 조사의 여당 지지율은 1%p 차이인데 야당 지지율은 16%p나 차이가 난다. 한국갤럽은 전화면접조사(CATI), 리얼미터는 자동응답조사(ARS)다. 조사방식이 달라서 조사결과도 차이가 난다고 하는 설명은 미흡하다. 조사방식 차이가 어떻게 조사결과 차이로 이어지는가에 대한 구체적인 설명이 있어야 한다.

조사방식이 여론조사 결과에 영향을 줄 수 있는 프로세스에는 여러가지 가설이 있다. 가장 대표적인 설명은 '유권자의 정치 관여도' '샤이(shy) 유권자의 응답' 그리고 '상대적 응답률 차이에 의한 효과' 세가지 유형이다.

정치 관심도가 높은 유권자는 여론조사 참여율이 높고 관심도가 낮은 유권자는 참여가 낮을 수 있다. 자동응답조사는 관여도가 높은 유권자 의견이 상대적으로 더 많이 반영된 결과라는 설명이다. 그런데 한국갤럽 조사에 의하면 정치 관심도가 높은 유권자의 정당지지도는 별 차이가 없다. 서로 다른 여론조사 결과가 정치관여도가 높고 낮은 응답자 비율의 차이 때문이라는 설명은 아직 입증되지 않았다.

조사방식에 영향을 미칠 세가지 가설

'샤이 유권자' 가설은 전화면접조사에서 의사표시에 소극적인 사람이 자동응답조사에서 적극적으로 의사표시를 하므로 민주당 지지율이 더 높다는 것이다. '샤이 유권자' 가설은 '지지정당 없다' '모름' '무응답' 등 태도유보적 응답이 전화면접조사에 비해 자동응답조사에서 10%p 이상 크게 줄어드는 현상을 특히 주목한다. 최근 대통령 국정평가는 부정응답이 60% 전후로 아주 높다. 대통령 국정운영 평가문항에 부정적으로 응답한 유권자가 지지정당을 묻는 문항에서는 심리적 부담을 가진다는 설명은 조금 무리가 있어 보인다.

응답률 차이도 살펴볼 필요가 있다. 전화면접조사에 비해 자동응답조사는 응답률이 낮다. 앞서 인용한 조사의 응답률은 한국갤럽 13.6%, 리얼미터 2.4%다. 여론조사는 표본집단이 전체 모집단을 대표한다는 가정을 전제로 한다. 응답률이 낮은 경우 조사에 참여한 응답자와 조사를 거절하거나 또는 중도에 이탈한 비응답자 간에 주요 속성에 대한 분포가 달라질 수도 있다.

예를 들어 유권자 모집단에서 특정 성향의 유권자 응답률이 반대 성향의 응답률보다 높을 경우 상대적 응답률의 차이가 표본구성에 영향을 줄 수 있다. 만일 가상적으로 진보 1만명, 보수 1만명 모집단에서 평균응답률 14.0%, 진보응답률 14.1%, 보수응답률 13.9%인 상황을 가정하면 표본집단은 진보 1410명, 보수 1390명이다. 표본집단 분포는 진보 50.4%, 보수 49.6%이고 두 집단의 차이는 0.8%p다.

평균응답률이 낮을 경우 상대적 응답률 차이가 표본집단 구성에 미치는 효과도 커진다. 만일 가상적으로 진보 10만명, 보수 10만명 모집단의 평균응답률이 2.0%, 진보응답률 2.1%, 보수응답률 1.9%인 상황을 가정하면 표본집단은 진보 2100명, 보수 1900명이다. 표본집단의 비율은 진보 52.5%, 보수 47.5%이고 두 집단 간에 5%p 차이가 난다.

상대적 응답률의 영향은 집단간 응답률의 격차가 클수록, 평균응답률이 낮을수록 크다. 특정 이념성향의 유권자가 여론조사 참여에 적극적이면 응답률이 낮은 여론조사에서는 집단간 참여율 차이가 미세해도 결과에 큰 영향을 줄 수 있다. 최근 여론조사를 보면 정권 반대 목소리가 정권을 지지하는 입장보다 더 크고 강하다. 여야 지지층의 여론조사 참여의향도 이런 정치적 분위기의 영향을 받을 수도 있다.

세번째 가설을 입증하려면 진보 보수 유권자의 상대적 응답률을 측정할 수 있어야 한다. 한가지 방법은 여론조사 설문에 지난 대선 때 투표한 후보를 질문하고 실제 개표 결과와 비교해 여당과 야당 성향 투표자의 상대적 응답률을 간접적으로 추정하는 것이다.

집단간 응답률 차이 원인 좀더 연구 필요

조사방법에 따른 결과 차이가 '정치관여도' 효과인지 '샤이 유권자' 효과인지는 미지수다. 국정운영 부정평가는 높고 응답률이 높지 않은 여론조사 환경에서 집단간 응답률 차이가 어떤 영향을 주는지를 관련 업계와 학계에서 깊이 있게 연구할 필요가 있다. (중앙선거여론조사심의위 참조)