[이승재 칼럼-지금] 깜깜이 여론조사…갤럽이 빛나는 이유

오차범위 '안'이면 무의미한 여론조사

질문 왜곡, 의뢰기관 입맛 맞게 조작 가능

한국갤럽, 사회과학적 응답률 등 역대 대선 결과 적중

 
3월 9일 대한민국 제20대 대통령 선거를 앞두고 여론조사 결과가 쏟아지고 있다. 하루에 많으면 서너 개 여론조사 결과가 나온다. 글을 쓰고 동영상 컨텐츠를 만드는 직업인으로서, 거의 대부분 여론조사를 신뢰하지 않는다. 여론조사를 과학적으로 읽는 방법을 알고 나면 그렇게 될 수밖에 없다.
 
무엇보다 여론조사 결과를 보도하는 기사 중 과학적으로 분석, 정확한 의미를 담는 걸 찾기 어렵다. 제멋대로 혹은 정치적 지향에 따른 희망과 바람을 담아 숫자를 강요하는 경우가 흔하디흔하다.
 
왜 그럴까? 여론조사 결과에 대한 신뢰성과 오차에 대해 최우선적으로 의문을 가져야 한다는 걸 모르거나 애써 모른 체하기 때문이다. 그렇지 않으면 소비자들이 기사, 콘텐츠를 보지 않으니까.
 

최근 여론조사에서 1,2위가 제각각 다를 때도 많은데 기사는 ‘오차범위’를 무시한다. 오차 범위와 신뢰도는 여론조사를 읽는 기본 중의 기본이다.
 
95% 신뢰도는 이 여론조사를 95%만 믿으라는 뜻. 오차범위 ±3.0%p라는 말은 지지율이 40%인 경우 지지율의 범위가 37.0~43.0% 사이라는 의미다. 최소와 최대를 말하는 거다. 오차범위 안에 있는 지지율 %p 차이는 별 의미 없는, 일고의 가치조차 없는 숫자에 불과하다. 당연히 순위도 무의미하게 된다. 사회과학 원리원칙에서 볼 때 오차범위 내에 1,2위가 있다면 이는 공표할 필요도 없고 공개해서는 안 되는 거다.
 
“000후보, 오차범위 내에서 1위”라는 제목은 쓰레기다.
 

 이런 무지-무식-무가치, ‘깜깜이 여론조사’ 홍수 속에 반짝반짝 빛나는 별이 있다면 갤럽이다. 필자는 매주 금요일 오전 발표되는 <한국갤럽 데일리 오피니언>만큼은 꼼꼼히 원 자료를 살펴본다. 몇 가지 특징을 통해 왜 갤럽이 상대적으로 믿을 만한지 알 수 있다.
 
▶사람이 전화를 직접 건다
대선 여론조사는 전화로 이뤄진다. 전화를 거는 조사자에 따라 크게 두 가지다. 사람이 전화를 직접 거느냐, 기계가 하느냐.
 
전화조사원 인터뷰, 전화면접조사는 CATI(Computer Aided Telephone Interview)라고 한다. ‘사람 조사원’이 무작위로 추출된 전화번호로 전화를 걸어, 전화 받는 조사대상자에게 질문하고 응답을 기록한다.
 
자동응답조사(Auto Response System·ARS)는 ‘기계 조사원’이 전화를 돌리고, 이를 받은 응답자에게 미리 사전에 녹음한 음성을 들려준 뒤 응답자가 전화를 끊지 않으면 직접 전화기 번호를 눌러 자신의 의견을 밝히는 방식이다.
 
사람이 전화를 직접 걸어하는 CATI 조사가 ARS 조사에 비해 응답률이 월등히 높다. ARS 대선 여론조사 전화가 오면 바로 끊어 버리는 사람이 많다.
 
수많은 여론조사 기관들이 ASR를 주로 하고 CATI를 혼합하는 방식으로 조사를 하는 반면 갤럽은 인력과 비용이 더 많이 드는 CATI 방식으로만 조사를 진행한다.

같은 CATI 방식으로 해도 전화조사원에 따른 차이가 있다. 갤럽은 오랜 기간 숙련된 전문 상담원들이 일정한 요일, 다양한 시간대에 전화를 건 뒤, 능숙하게 응답자의 협조를 이끌어 내는 것으로 정평이 나 있다.
 
▶의뢰기관 없고, 공정·객관적 질문
여론조사는 질문에 따라 결과가 달라지는 경우가 많다. 질문의 내용, 순서에 따라 교묘하게 응답자를 유도해 원하는 결과를 끌어내는 거다. 후보 단일화, 지지 후보, 대통령 평가 등등 순서에 따르지 않고 부자연스러운 질문 순서를 짜는 여론조사는 가짜다.
 
여론조사를 의뢰하는 기관 ‘입맛’에 맞춘 결과를 내기 위해 이렇게 질문을 조작하는 건 공공연한 비밀이다. 어느 후보가 돈으로 여론조사를 샀다는 팩트, 관련업계 알만한 사람들은 다 안다.
 
정당, 언론사 등 여론조사를 의뢰하는 기관에 따라 선호하는 후보, 이념적 정체성 등이 다르게 투영돼 있는 걸 응답자들이 눈치 채지 못하게 하는 ‘사기 여론조사’도 적지 않다는 말이다. 비과학적 사이비 여론조사가 아주 많다.
 
하지만 갤럽은 매주 독자적으로 진행한 여론조사 결과를 금요일에 공개한다. 그래서 끊이지 않고 객관적인 여론의 흐름을 추적할 수 있다.
 
질문도 최대한 공정하고 객관적으로 만들기 위해 ‘며느리도 모르는 비법’을 동원한다고 한다. 그 중에 공개된 비법은 조사 때마다, 혹은 질문을 할 때마다 사람 이름 순서를 바꾸는 거다. 또 가타부타, 딱 떨어지는 질문으로 깔끔한 대답을 얻는다.
 
문재인 대통령 국정수행에 대한 평가를 묻는 질문이 그렇다. 갤럽은 대통령의 국정수행에 대해 “잘하고 있는지” 또는 “잘못하고 있는지” OX만 묻는다. ‘매우’, ‘대체로’ 등의 사족은 붙이지 않는다. 그래서 더 깔끔하고 객관적이다.
 
▶높은 응답률
여론조사에서 간과하기 쉬운 수치가 바로 응답률이다. 모든 응답대상자가 대답하는 여론 조사는 절대적으로 없다. 그렇기에 과연 전화를 받은 사람들 중 과연 몇%가 전화를 받았는지, 끝까지 모든 질문에 답했는지를 살펴봐야 한다.
 
‘표본크기 1000명, 응답률 20%’이라면 총 5000명과 통화해 그중 1000명이 끝까지 응답을 완료한 것이다. 전화 5만건을 돌려 응답완료자가 1000명이고, 접촉 후 거절 및 중도이탈이 9000건이면 응답자는 모두 1만명, 응답률 10%라고 계산한다.

갤럽 응답률은 상대적으로 높다. 많은 여론조사 응답률은 8% 안팎 한 자리수에 그친다. 28일 공개한 2022년 1월 4주차 <데일리 오피니언> 제481호에 나온 응답률은 15.1%(총 통화 6606명 중 1000명 응답 완료)다.
 
▶지역-세대 부정확 인정
많은 여론조사 보도를 보면 특정 지역과 세대의 지지율을 여과 없이 싣는다. 이는 불과 1000명 정도의 표본 수로 파악하기 힘든 통계수치다. 지역과 세대에 따라 세분화한 들쑥날쑥한 수치는 객관적으로 무의미하다.
 
그러나 갤럽은 이를 인정하고 세세히 분석하지 않는다.
갤럽은 “매주 공개하는 한국갤럽 데일리 오피니언은 유효표본 약 1,000명을 조사한 결과다. 전국 단위 주간 지표로는 안정적이라 할 수 있지만 지역별, 연령별 등 세부 특성별로는 표본수(사례수)가 많지 않아 매주 비교는 어렵다.”고 못을 박는다.
 
나아가 “월 단위로 발표하는 지역별 결과 역시 강원은 약 120명, 제주는 약 50명에 불과한 소표본 지역이므로 해석 시 주의를 요한다.”고 적시했다.
 
▶미래 예측, 과거 결과가 말한다
대선 여론조사는 민심을 숫자화해 미래를 예측한다. 다른 무엇보다 과거 역대 대선에 대한 여론조사 결과가 그 기관의 신뢰성을 확인해 준다.
 
과학적인 여론조사가 처음으로 시작된 1987년 대통령 선거 이후 갤럽은 틀린 적이 없었다.

갤럽에 따르면 1987년 10월부터 12월까지 여섯 차례 조사에서 노태우(35.3%-이하 %), 김영삼(28.4), 김대중(27.5), 김종필(8.3) 순으로 예상 득표율을 제시했다. 이는 지지하는 후보를 밝히지 않은(의견 유보) 유권자를 지역/성/연령/원적 등을 근거로 분석해 얻은 수치다. 실제 결과는 순서대로 36.6-28.0-27.1-8.1.
 
이후 갤럽은 92년 14대 대선에서 박찬종 후보(예상 득표율 12.4, 실제 결과 6.4)를 제외하고는 모든 후보들의 득표율을 거의 정확하게 예상했다.

2012년 18대 대선에서 갤럽은 박근혜-문재인 후보 예상 득표율을 각각 51.5%, 47.8%로 봤다. 실제 득표율은 51.6%, 48.0%였다. 각각 0.1%p, 0.2%p 차이를 보일 정도로 발군의 실력을 보였다. 19대 대선 역시 별 차이가 없었다.

앞으로 대선 여론조사 결과는 3월 3일(대선일 6일 전)까지 지속적으로 나올 터. 가급적 매주 금요일 한국갤럽의 조사를 눈여겨보길, 특히 오차범위 내의 순위는 무시하길 권한다.
 

[한국갤럽 홈페이지 캡처]

[한국갤럽 홈페이지 캡처]

 

[한국갤럽 홈페이지 캡처]

[한국갤럽 홈페이지 캡처]

[한국갤럽 홈페이지 캡처]