반응형
프롬스의 최근 이슈
여론조사
1. 개요
여론조사(輿論調査, Public Opinion Poll)는 어떤 사회 집단의 정치적 사회적 등의 여론을 알아보는 조사를 말한다.
전체 구성원 모두에게 여론을 알아볼 수는 없으므로 표본을 뽑아 조사하게 된다.
표본 내에서도 나이, 성별, 지역, 종교, 직업, 학력, 소득 등의 요소에 따라 성향이 달라질 수 있기 때문에 조사 목적에 맞게 표본의 구성을 조정하는 절차를 거친다.
여론조사는 사람이 직접 대상을 만나서 인터뷰를 진행하여 결론을 도출하는 대면 조사 방식과 통신망을 활용한 비대면 조사 방식으로 나뉜다.
대면 조사 방식은 일정한 표본을 모집하여 조사를 하거나, 혹은 직접 가가호호 방문을 하거나, 거리나 특정 구역 내에서 무작위로 인터뷰를 진행하여 자료를 수집하는 등의 방식으로 이뤄진다.
선거 당일에 투표소를 나서는 유권자들을 무작위로 선택하여 조사하는 방식인 선거 출구조사 또한 일종의 대면 조사에 속한다.
상대적으로 시간과 비용이 많이 들며, 조사원들에게 조사 방법론에 관한 일정 수준 이상의 훈련이 필요하다.
통신망을 이용한 비대면 조사는 근현대 이후로 정착된 방식이다.
전화가 충분히 보급되기 전 시대의 과거에는 우편을 이용한 여론조사를 사용하기도 했지만, 통신망이 널리 보급된 현대 사회에서는 전화 조사를 기본적으로 사용한다.
한편 최근에는 몇몇 여론조사에서 제한적으로 모바일이나 인터넷을 통한 표본 모집을 하는 경우도 있는데, 표본 자체의 무작위성이나 신뢰성 문제에서 자유롭지 못하기 때문에 아직까지는 널리 받아들여지지 못하는 형편이다.
전체 구성원 모두에게 여론을 알아볼 수는 없으므로 표본을 뽑아 조사하게 된다.
표본 내에서도 나이, 성별, 지역, 종교, 직업, 학력, 소득 등의 요소에 따라 성향이 달라질 수 있기 때문에 조사 목적에 맞게 표본의 구성을 조정하는 절차를 거친다.
여론조사는 사람이 직접 대상을 만나서 인터뷰를 진행하여 결론을 도출하는 대면 조사 방식과 통신망을 활용한 비대면 조사 방식으로 나뉜다.
대면 조사 방식은 일정한 표본을 모집하여 조사를 하거나, 혹은 직접 가가호호 방문을 하거나, 거리나 특정 구역 내에서 무작위로 인터뷰를 진행하여 자료를 수집하는 등의 방식으로 이뤄진다.
선거 당일에 투표소를 나서는 유권자들을 무작위로 선택하여 조사하는 방식인 선거 출구조사 또한 일종의 대면 조사에 속한다.
상대적으로 시간과 비용이 많이 들며, 조사원들에게 조사 방법론에 관한 일정 수준 이상의 훈련이 필요하다.
통신망을 이용한 비대면 조사는 근현대 이후로 정착된 방식이다.
전화가 충분히 보급되기 전 시대의 과거에는 우편을 이용한 여론조사를 사용하기도 했지만, 통신망이 널리 보급된 현대 사회에서는 전화 조사를 기본적으로 사용한다.
한편 최근에는 몇몇 여론조사에서 제한적으로 모바일이나 인터넷을 통한 표본 모집을 하는 경우도 있는데, 표본 자체의 무작위성이나 신뢰성 문제에서 자유롭지 못하기 때문에 아직까지는 널리 받아들여지지 못하는 형편이다.
2. 방법
2.1. 대면 조사
조사원이 표본으로 선정된 응답자를 상대로 직접 대면하여 조사하는 방법이다.
여론조사의 가장 기본적이고 근본적인 방법으로 꼽힌다.
대면 조사를 수행하기 위해서는 조사원에 대한 고도의 훈련과 감독이 중요하다.
면접조사는 면접 대상의 규모에 따라 개별 면접조사, 집단 면접조사로 나눌 수 있고, 면접의 내용 구성에 따라 많은 응답자가 똑같은 객관식 질문을 받는 표준화 조사, 숙련된 조사원들이 대략적인 방향성만 가지고 조금씩 질문을 변형시키는 비표준화 조사, 표준화 조사와 비표준화 조사를 적절히 절충하는 방식인 반표준화 조사 등으로 구분할 수도 있다.
조사자가 설문지를 배포한 후 응답자를 보조하는 형식으로 조사가 진행될 수 있으며, 혹은 조사자가 응답자에게 설문지를 주고 나중에 가지러 오는 경우도 있다.
참고로 2010년대 중반부터는 대면 조사에서 기존의 설문지 대신 태블릿 PC가 적극적으로 활용되고 있다.
장점으로는 응답률이 여러 조사 방식들 가운데 가장 높다는 점, 조사자가 면접상황을 적절히 통제할 수 있다는 점, 시각이나 청각적인 보조물을 사용할 수 있다는 점, 질문이 내용이 조금 복잡하거나 응답의 내용이 분명하지 않을 경우 추가로 설명을 해주거나 더 자세하게 질문을 할 수 있다는 점, 글을 읽지 못하는 사람이나 통신 기기 사용에 익숙치 않은 노인들을 상대로 얼마든지 조사가 가능하다는 점, 특정 집단이나 직업군, 지역 등에 대한 세밀한 접근이 용이하다는 점, 긴 설문이 가능하다는 점 등이 있다.
단점으로는 조사원이 응답자와 직접 대면해야 하므로 일반적으로 조사비용과 조사시간, 조사기간 등이 대단히 많이 소요된다는 점, 충분히 숙달되지 않은 조사원에게서 발생하는 오차가 크다는 점, 조사원의 의도에 따라 결과의 편향이 크게 발생할 가능성이 높다는 점, 응답자가 옆 사람의 의견에 직접적으로 영향을 받을 수 있다는 점, 다른 조사에 비해 익명성을 유지하기가 훨씬 어렵다는 점, 사생활 침해 등의 이유가 발생하기 쉽다는 점, 바쁜 현대인들에게 긴 시간 동안의 심층 조사를 요구하기 어렵다는 점 등이 있다.
여론조사의 가장 기본적이고 근본적인 방법으로 꼽힌다.
대면 조사를 수행하기 위해서는 조사원에 대한 고도의 훈련과 감독이 중요하다.
면접조사는 면접 대상의 규모에 따라 개별 면접조사, 집단 면접조사로 나눌 수 있고, 면접의 내용 구성에 따라 많은 응답자가 똑같은 객관식 질문을 받는 표준화 조사, 숙련된 조사원들이 대략적인 방향성만 가지고 조금씩 질문을 변형시키는 비표준화 조사, 표준화 조사와 비표준화 조사를 적절히 절충하는 방식인 반표준화 조사 등으로 구분할 수도 있다.
조사자가 설문지를 배포한 후 응답자를 보조하는 형식으로 조사가 진행될 수 있으며, 혹은 조사자가 응답자에게 설문지를 주고 나중에 가지러 오는 경우도 있다.
참고로 2010년대 중반부터는 대면 조사에서 기존의 설문지 대신 태블릿 PC가 적극적으로 활용되고 있다.
장점으로는 응답률이 여러 조사 방식들 가운데 가장 높다는 점, 조사자가 면접상황을 적절히 통제할 수 있다는 점, 시각이나 청각적인 보조물을 사용할 수 있다는 점, 질문이 내용이 조금 복잡하거나 응답의 내용이 분명하지 않을 경우 추가로 설명을 해주거나 더 자세하게 질문을 할 수 있다는 점, 글을 읽지 못하는 사람이나 통신 기기 사용에 익숙치 않은 노인들을 상대로 얼마든지 조사가 가능하다는 점, 특정 집단이나 직업군, 지역 등에 대한 세밀한 접근이 용이하다는 점, 긴 설문이 가능하다는 점 등이 있다.
단점으로는 조사원이 응답자와 직접 대면해야 하므로 일반적으로 조사비용과 조사시간, 조사기간 등이 대단히 많이 소요된다는 점, 충분히 숙달되지 않은 조사원에게서 발생하는 오차가 크다는 점, 조사원의 의도에 따라 결과의 편향이 크게 발생할 가능성이 높다는 점, 응답자가 옆 사람의 의견에 직접적으로 영향을 받을 수 있다는 점, 다른 조사에 비해 익명성을 유지하기가 훨씬 어렵다는 점, 사생활 침해 등의 이유가 발생하기 쉽다는 점, 바쁜 현대인들에게 긴 시간 동안의 심층 조사를 요구하기 어렵다는 점 등이 있다.
2.2. 전화면접 조사
조사원이 직접 전화를 걸어 전화를 받는 사람에게 설문조사를 하는 방식이다.
보통의 전화 통화처럼 질문자가 전화를 걸어 정해진 질문 순서에 따라 조사원이 차례대로 질문을 하고 응답자는 질문에 따른 응답을 하는 방법으로 진행이 된다.
가장 기본적인 전화 여론조사의 방법론으로 꼽힌다.
장점으로는 보편적이고 일반적인 인식에 대한 조사가 가능하다는 점, 특정 이슈의 관심도가 낮은 계층이나 무관심층에게도 얼마든지 조사가 가능하다는 점, 전화를 받는 사람이 쉽게 전화를 거절하지 않게 되어 상대적으로 응답률이 높게 나온다는 점, 응답자가 통화 상태를 계속 유지하는 경향성이 높으므로 조사의 중도 탈락률이 낮다는 점, 이런 특징 때문에 길고 복잡한 문항에 대한 조사도 얼마든지 가능하다는 점 등이 있다.
단점으로는 전화조사원이 질문할 때 조사원의 성별, 말의 뉘앙스, 발음의 정확성, 사투리 등의 요인을 완벽히 통제하기 불가능하기 때문에 이것이 응답자의 편향으로 이어질 수 있다는 점, 사람이 직접 물어보기 때문에 응답자가 자신의 속마음을 쉽게 숨길 수 있다는 점, 애매한 응답에 대한 분류가 쉽지 않다는 점, 무관심이나 저관심 계층의 응답에 의미를 부여하기 쉽지 않다는 점, 조사의 비용이나 시간이 많이 소요된다는 점 등이 있다.
보통의 전화 통화처럼 질문자가 전화를 걸어 정해진 질문 순서에 따라 조사원이 차례대로 질문을 하고 응답자는 질문에 따른 응답을 하는 방법으로 진행이 된다.
가장 기본적인 전화 여론조사의 방법론으로 꼽힌다.
장점으로는 보편적이고 일반적인 인식에 대한 조사가 가능하다는 점, 특정 이슈의 관심도가 낮은 계층이나 무관심층에게도 얼마든지 조사가 가능하다는 점, 전화를 받는 사람이 쉽게 전화를 거절하지 않게 되어 상대적으로 응답률이 높게 나온다는 점, 응답자가 통화 상태를 계속 유지하는 경향성이 높으므로 조사의 중도 탈락률이 낮다는 점, 이런 특징 때문에 길고 복잡한 문항에 대한 조사도 얼마든지 가능하다는 점 등이 있다.
단점으로는 전화조사원이 질문할 때 조사원의 성별, 말의 뉘앙스, 발음의 정확성, 사투리 등의 요인을 완벽히 통제하기 불가능하기 때문에 이것이 응답자의 편향으로 이어질 수 있다는 점, 사람이 직접 물어보기 때문에 응답자가 자신의 속마음을 쉽게 숨길 수 있다는 점, 애매한 응답에 대한 분류가 쉽지 않다는 점, 무관심이나 저관심 계층의 응답에 의미를 부여하기 쉽지 않다는 점, 조사의 비용이나 시간이 많이 소요된다는 점 등이 있다.
2.3. ARS 조사
미리 녹음된 음성을 활용한 자동응답 시스템으로 진행하는 조사이다.
전화면접 조사가 상담원 질문에 대해 직접 사람이 말로 응답하는 방식인 것에 반해, ARS 조사는 자동응답 시스템이 불러주는 음성에 대해 응답자가 전화 버튼을 눌러서 답변을 입력하는 방식이다.
영어로는 상담원이 직접 걸어서 질문하는 전화면접 조사를 실황면접(live interview)이라고 이름 붙이고, ARS 자동응답 시스템을 활용하는 조사를 로보콜(robocall)이라고 이름 붙여서 구분하기도 한다.
장점으로는 특정 이슈에 대해 관심도가 높은 계층을 중점적으로 조사할 수 있다는 점, 버튼을 눌러 답변을 입력하므로 비밀이 보장되어 응답자가 속마음을 쉽게 드러낼 수 있다는 점, 그래서 실제 선거 결과를 정확하게 맞힐 수 있다는 점, 질문 자체의 문항, 성별, 뉘앙스, 발음, 사투리 등의 요소를 모든 응답자에게 완벽하게 동일한 방식으로 통제할 수 있다는 점, 조사의 비용이나 시간이 상대적으로 적게 소요된다는 점 등이 있다.
단점으로는 응답자 선정 과정에서 응답자의 거짓 응답을 검증할 방법이 없기 때문에 비표본 오차가 발생할 수 있다는 점, 이슈의 관심도가 낮은 계층이나 보편적인 모집단에 대한 조사가 어렵다는 점, 전화면접 조사에 비해 통화의 중도 탈락 비율이 높다는 점, 이런 특징 때문에 길고 복잡한 문항에 대한 조사가 불가능하며, 몇개 되지 않는 소수의 문항 위주로 조사할 수밖에 없다는 점, 정치 저관여층보다는 정치 고관여층 여론을 과잉 대표한다는 점, 근본적으로 기계음에 대한 거부감이 강한 사람들은 응답에 응하지 않는다는 점 등이 있다.
다.
전화면접 조사가 상담원 질문에 대해 직접 사람이 말로 응답하는 방식인 것에 반해, ARS 조사는 자동응답 시스템이 불러주는 음성에 대해 응답자가 전화 버튼을 눌러서 답변을 입력하는 방식이다.
영어로는 상담원이 직접 걸어서 질문하는 전화면접 조사를 실황면접(live interview)이라고 이름 붙이고, ARS 자동응답 시스템을 활용하는 조사를 로보콜(robocall)이라고 이름 붙여서 구분하기도 한다.
장점으로는 특정 이슈에 대해 관심도가 높은 계층을 중점적으로 조사할 수 있다는 점, 버튼을 눌러 답변을 입력하므로 비밀이 보장되어 응답자가 속마음을 쉽게 드러낼 수 있다는 점, 그래서 실제 선거 결과를 정확하게 맞힐 수 있다는 점, 질문 자체의 문항, 성별, 뉘앙스, 발음, 사투리 등의 요소를 모든 응답자에게 완벽하게 동일한 방식으로 통제할 수 있다는 점, 조사의 비용이나 시간이 상대적으로 적게 소요된다는 점 등이 있다.
단점으로는 응답자 선정 과정에서 응답자의 거짓 응답을 검증할 방법이 없기 때문에 비표본 오차가 발생할 수 있다는 점, 이슈의 관심도가 낮은 계층이나 보편적인 모집단에 대한 조사가 어렵다는 점, 전화면접 조사에 비해 통화의 중도 탈락 비율이 높다는 점, 이런 특징 때문에 길고 복잡한 문항에 대한 조사가 불가능하며, 몇개 되지 않는 소수의 문항 위주로 조사할 수밖에 없다는 점, 정치 저관여층보다는 정치 고관여층 여론을 과잉 대표한다는 점, 근본적으로 기계음에 대한 거부감이 강한 사람들은 응답에 응하지 않는다는 점 등이 있다.
다.
2.4. 모바일 패널 조사
여론조사 기관들이 자체적으로 보유한 대량의 온라인 패널 가입자들을 활용한 여론조사 방식이다.
자체적으로 충분히 많은 수의 패널을 확보한 여론조사 기관들이 이 패널을 성별, 세대별 인구 구성비에 따라 가공하여 모집단을 조직한 뒤, 이 모집단에 대해 스마트폰 문자, 스마트폰 앱, 이메일 등을 통해 랜덤으로 접촉하여 여론조사를 수행한다.
가공된 모집단에 대해 문자를 보내서 여론조사용 웹페이지의 접속을 유도한 후 조사를 하기도 하고, 자체 스마트폰 앱의 알림 기능을 활용하거나 이메일을 통해 접촉하여 조사를 수행하기도 한다.
온라인 패널 조사, 웹 패널 조사, 모바일 패널 조사, 스마트폰 앱 조사, 스마트폰 패널 조사 등등 다양한 이름으로 불리지만, 결국 유사한 분류이다.
장점으로는 조사의 비용과 시간이 전화 조사에 비해 상대적으로 적게 든다는 점, 웹페이지 링크나 앱을 통한 온라인 답변을 수행하므로 매우 긴 질문의 복잡한 조사도 얼마든지 수행할 수 있다는 점, 질문에서 사진이나 동영상, 음성, 소리 정보 등을 활용하는 방법이 가능하다는 점, 여론조사 기관들의 자체적 노하우에 따른 다양한 형태의 가중치 부여가 수월하다는 점 등이 있다.
단점으로는 충분한 패널을 보유하지 못한 업체는 시도하지 못한다는 점, 일반적인 RDD나 안심번호 전화조사에 비해 표본의 대표성과 신뢰성이 아직은 충분히 검증되지 않았다는 점, 통신 환경에 익숙하지 못한 계층에 대한 조사가 어렵다는 점, 아직은 역사적으로 충분히 검증되지 않은 조사라는 점 등이 있다.
자체적으로 충분히 많은 수의 패널을 확보한 여론조사 기관들이 이 패널을 성별, 세대별 인구 구성비에 따라 가공하여 모집단을 조직한 뒤, 이 모집단에 대해 스마트폰 문자, 스마트폰 앱, 이메일 등을 통해 랜덤으로 접촉하여 여론조사를 수행한다.
가공된 모집단에 대해 문자를 보내서 여론조사용 웹페이지의 접속을 유도한 후 조사를 하기도 하고, 자체 스마트폰 앱의 알림 기능을 활용하거나 이메일을 통해 접촉하여 조사를 수행하기도 한다.
온라인 패널 조사, 웹 패널 조사, 모바일 패널 조사, 스마트폰 앱 조사, 스마트폰 패널 조사 등등 다양한 이름으로 불리지만, 결국 유사한 분류이다.
장점으로는 조사의 비용과 시간이 전화 조사에 비해 상대적으로 적게 든다는 점, 웹페이지 링크나 앱을 통한 온라인 답변을 수행하므로 매우 긴 질문의 복잡한 조사도 얼마든지 수행할 수 있다는 점, 질문에서 사진이나 동영상, 음성, 소리 정보 등을 활용하는 방법이 가능하다는 점, 여론조사 기관들의 자체적 노하우에 따른 다양한 형태의 가중치 부여가 수월하다는 점 등이 있다.
단점으로는 충분한 패널을 보유하지 못한 업체는 시도하지 못한다는 점, 일반적인 RDD나 안심번호 전화조사에 비해 표본의 대표성과 신뢰성이 아직은 충분히 검증되지 않았다는 점, 통신 환경에 익숙하지 못한 계층에 대한 조사가 어렵다는 점, 아직은 역사적으로 충분히 검증되지 않은 조사라는 점 등이 있다.
2.5. 우편물 조사
조사 대상자에게 우편을 통해 설문지를 발송하여 질문에 응답하도록 한 후 회수하는 방법이다.
과거 통신이 발달하기 전에는 널리 쓰이던 방법이었으나, 현재에는 몇몇 특수한 경우가 아니면 거의 쓰이지 않는다.
한 때는 서비스나 제품 만족도 조사의 방법으로 주로 쓰이기도 했으나, 요즘은 이것 마저도 전화 조사나 인터넷 조사로 대체된 지 오래되었다.
우편물 조사의 장점으로는 비용이 매우 적게 든다는 점, 조사원의 개입에 의한 영향을 최소화할 수 있다는 점, 익명성이 강하게 보장되는 방법이라는 점, 조사 시간이나 길이 등에 별 다른 제약을 받지 않는다는 점 등이 있다.
단점으로는 강제성이 없으므로 응답률이나 질문지의 회수율이 매우 낮다는 점, 질문지 회수 시점까지 시간이 매우 오래 걸린다는 점, 응답자의 답변 성실도를 가늠할 수 없다는 점, 대리 응답을 통제할 수 없다는 점, 대리 응답으로 인한 모집단의 오염이 빈번하게 발생한다는 점, 답변의 품질을 균등화할 수 없다는 점 등이 있다.
참고로 2020년 현재 기준, 아직도 일본에서는 언론 공표용 정치 여론조사에서 이 우편물 조사 방식이 종종 사용된다.
과거 통신이 발달하기 전에는 널리 쓰이던 방법이었으나, 현재에는 몇몇 특수한 경우가 아니면 거의 쓰이지 않는다.
한 때는 서비스나 제품 만족도 조사의 방법으로 주로 쓰이기도 했으나, 요즘은 이것 마저도 전화 조사나 인터넷 조사로 대체된 지 오래되었다.
우편물 조사의 장점으로는 비용이 매우 적게 든다는 점, 조사원의 개입에 의한 영향을 최소화할 수 있다는 점, 익명성이 강하게 보장되는 방법이라는 점, 조사 시간이나 길이 등에 별 다른 제약을 받지 않는다는 점 등이 있다.
단점으로는 강제성이 없으므로 응답률이나 질문지의 회수율이 매우 낮다는 점, 질문지 회수 시점까지 시간이 매우 오래 걸린다는 점, 응답자의 답변 성실도를 가늠할 수 없다는 점, 대리 응답을 통제할 수 없다는 점, 대리 응답으로 인한 모집단의 오염이 빈번하게 발생한다는 점, 답변의 품질을 균등화할 수 없다는 점 등이 있다.
참고로 2020년 현재 기준, 아직도 일본에서는 언론 공표용 정치 여론조사에서 이 우편물 조사 방식이 종종 사용된다.
3. 정확한가?
여론조사는 축적된 데이터와 과학적 근거를 가지고 조사하는 것이기 때문에, 과학적으로 설계만 되었다면 당연히 상당한 신뢰성이 있다.
하지만, 전수조사가 아닌만큼 오차범위가 존재하고, 따라서 정말로 그 확률로 틀릴 수도 있다.
다만 진짜 오차범위 내의 정확한 여론을 알 수 있는가에 대해선 제법 논란이 있는 것도 사실이다.
우선 표본 선정 과정에서 편향적이기 쉬운 문제가 있다.
예를 들어 정치 여론조사의 경우 중장년층이 주로 응답하는 집전화(유선) 조사는 가중치를 조절한다 치더라도 그 비율이 높을수록 결과가 보수 정당에 유리하게 나오기 쉽다.
때문에 연령대 가리지 않고 많이들 쓰는 휴대폰으로 하는 무선조사의 경우 좀 더 편향성을 줄일 수 있는 장점이 있으나, 정치/사회 현안에 대한 견해나 대선처럼 전국 단위 여론 분석이 가능한 조사가 아닌 지역구 선거 관련 조사 같은 경우는 유무선 조사의 비율을 조정하기 쉽지 않다는 한계도 있다.
이 때문에 후술되는 무선전화 안심번호 여론조사 제도가 도입되었다.
다만 비용이 많이 드는 한계점이 있어서 자금력이 부족한 영세한 조사기관의 경우에는 적극적으로 활용하지 못하는 점도 존재한다.
그 외에도 접촉 방법, 조사 기간, 조사 시간, 문항 설계, 질문 방식 등의 설계가 합리적으로 되지 않으면 정확도나 신뢰도가 떨어지는 결과가 도출되기도 한다.
그리고 이런 조사 방법론 외에도 연령, 소득, 직업, 학력, 지역 등의 인구 구성 변수도 크며, 같은 연령대라고 할 지라도 정보화가 된 사람이 상대적으로 진보적이거나 개혁적인 성향을 가지는 경향이 높은 등 계층적인 측면에서도 여러 오차 변수가 있다.
심지어 이러한 오차 변수에다가 각각 어느 정도로 가중을 두느냐에 따라서 조사의 결과가 상당히 달라지 수도 있다.
소설가 김훈은 2019년 9월 19일 고려대학교에서 있었던 강의에서 현재 한국 사회가 직면한 문제에 대해 "사람들의 생각이 당파성에 매몰된 바람에, 자기가 가지고 있는 당파성을 정의 · 진리라고 말하고, 그렇게 의견과 사실을 구별하지 않은 말들이 매일 쏟아진다.
자신의 의견을 사실인 것처럼 말하고, 사실을 자신의 의견인 것처럼 말하면서, 말을 할 때 그것이 사실인지, 근거가 있는지 아니면 개인의 욕망인지 구별하지 않고 마구 쏟아내기 때문에 아무도 알아 들을 수 없는 말이 됐다.
”고 지적하면서 여론조사를 현시대 최고의 권력으로 들었는데, 김훈은 그러면서 "여론조사는 의견과 사실이 혼재되어 있는 건데 그것이 마치 정의이고 진리인 것처럼 떠받들어지는 것은 '무지몽매한 세상으로 가는 지름길'이 된다"고 단언하기까지 했다.
1, 2, 3, 420대 대선에서 다수의 여론조사 업체가 최종 결과에서 한참 벗어난 수치를 예측해 논란이 일 것으로 보인다.
세대별, 성별 응답률과 투표율 사이의 괴리가 그 원인으로 보이는데, 추가 분석이 필요하다.
하지만, 전수조사가 아닌만큼 오차범위가 존재하고, 따라서 정말로 그 확률로 틀릴 수도 있다.
다만 진짜 오차범위 내의 정확한 여론을 알 수 있는가에 대해선 제법 논란이 있는 것도 사실이다.
우선 표본 선정 과정에서 편향적이기 쉬운 문제가 있다.
예를 들어 정치 여론조사의 경우 중장년층이 주로 응답하는 집전화(유선) 조사는 가중치를 조절한다 치더라도 그 비율이 높을수록 결과가 보수 정당에 유리하게 나오기 쉽다.
때문에 연령대 가리지 않고 많이들 쓰는 휴대폰으로 하는 무선조사의 경우 좀 더 편향성을 줄일 수 있는 장점이 있으나, 정치/사회 현안에 대한 견해나 대선처럼 전국 단위 여론 분석이 가능한 조사가 아닌 지역구 선거 관련 조사 같은 경우는 유무선 조사의 비율을 조정하기 쉽지 않다는 한계도 있다.
이 때문에 후술되는 무선전화 안심번호 여론조사 제도가 도입되었다.
다만 비용이 많이 드는 한계점이 있어서 자금력이 부족한 영세한 조사기관의 경우에는 적극적으로 활용하지 못하는 점도 존재한다.
그 외에도 접촉 방법, 조사 기간, 조사 시간, 문항 설계, 질문 방식 등의 설계가 합리적으로 되지 않으면 정확도나 신뢰도가 떨어지는 결과가 도출되기도 한다.
그리고 이런 조사 방법론 외에도 연령, 소득, 직업, 학력, 지역 등의 인구 구성 변수도 크며, 같은 연령대라고 할 지라도 정보화가 된 사람이 상대적으로 진보적이거나 개혁적인 성향을 가지는 경향이 높은 등 계층적인 측면에서도 여러 오차 변수가 있다.
심지어 이러한 오차 변수에다가 각각 어느 정도로 가중을 두느냐에 따라서 조사의 결과가 상당히 달라지 수도 있다.
소설가 김훈은 2019년 9월 19일 고려대학교에서 있었던 강의에서 현재 한국 사회가 직면한 문제에 대해 "사람들의 생각이 당파성에 매몰된 바람에, 자기가 가지고 있는 당파성을 정의 · 진리라고 말하고, 그렇게 의견과 사실을 구별하지 않은 말들이 매일 쏟아진다.
자신의 의견을 사실인 것처럼 말하고, 사실을 자신의 의견인 것처럼 말하면서, 말을 할 때 그것이 사실인지, 근거가 있는지 아니면 개인의 욕망인지 구별하지 않고 마구 쏟아내기 때문에 아무도 알아 들을 수 없는 말이 됐다.
”고 지적하면서 여론조사를 현시대 최고의 권력으로 들었는데, 김훈은 그러면서 "여론조사는 의견과 사실이 혼재되어 있는 건데 그것이 마치 정의이고 진리인 것처럼 떠받들어지는 것은 '무지몽매한 세상으로 가는 지름길'이 된다"고 단언하기까지 했다.
1, 2, 3, 420대 대선에서 다수의 여론조사 업체가 최종 결과에서 한참 벗어난 수치를 예측해 논란이 일 것으로 보인다.
세대별, 성별 응답률과 투표율 사이의 괴리가 그 원인으로 보이는데, 추가 분석이 필요하다.
3.1. 선거 여론조사에는 어떤 변수가 있는가?
- 모집단 : 여론조사는 어디까지나 여론조사에 응하는 사람이 모집단인 반면, 선거의 결과는 분명히 선거에 참여하는 사람이 모집단이다. 이 둘은 분명 서로 성격이 다른 모집단이다. 여론조사에 응한다고 해서, 그 사람이 선거에도 반드시 참여한다는 보장도 없고, 어떤 정당이나 후보에 대해 호감을 가지거나 지지한다는 답변을 한다고 해서 반드시 투표장에 가서 그 정당이나 후보에게 투표한다는 보장도 없다. 다시 말해, 여론조사와 투표는 엄연히 다르다는 것이다. 이 차이를 조금이라도 보정하기 위해서 '투표 참여 의향'에 관한 조사를 병행하기도 하지만, 이 또한 정밀한 방법은 아니다. 투표를 할 것이냐 안 할 것이냐는 질문은 어디까지나 '도덕적 질문'이기 때문에 대부분 '투표할 것이다'라고 대답하는 경향이 있기 때문이다. 그리고 투표에 참여할 의사가 있다고 하더라도, 해당 응답자가 어느 정도로 절실하게 투표 참여 의지가 있는지 가늠하는 것도 쉽지 않다. 투표 의향의 강도를 4점 척도로 묻는다고 해도, 응답자 개개인마다 선택지의 차이를 받아들이는 정도가 각각 다르다. 어쨌든 현실적으로 이런 여러 차이를 계량하고 보정할 수 있는 방법은 딱히 없다. 그럼에도 불구하고 선거 여론조사가 선거 결과 예측에 동원되는 이유는, 선거를 예측하는 여러 방법들 중에 그나마 현실적이고 합리적인 추론 수단이 여론조사 정도이기 때문이다.
- 가중 방식 : 현재 선관위의 중앙여론조사심의위원회에서는 선거 여론조사의 가중 방식으로 셀가중(Cell weighting)과 림가중(Rim weighting) 두 가지만 허용하고 있다. 그런데 여기서 문제는 어떤 가중 방식을 채택하느냐에 따라서 여론조사의 결과가 상당히 달라질 수 있다는 점이다. 선관위에서는 성, 연령, 지역 등 3개의 변수를 정해주고 있는데, 변수를 모두 반영하여 세부 구분마다 각각 다른 가중치를 부여하는 방식이 셀가중이고, 전체 표본에서 기본적인 변수에 한해 가중치를 부여해 가는 방식이 림가중이다. 두 방식에는 각각의 장단점도 있고, 어느 쪽이 더 좋은 방식이라는 정답도 없다. 또한 어느 쪽이 더 현실과 부합하는 결과를 내는지의 여부도 판단하기 어렵다. 어쨌든 이런 가중 방식은 여론조사 회사마다, 발표하는 여론조사마다 각각 다르게 채택하고 있는데, 이 때문에 하우스 이펙트(House Effect)가 더 뚜렷하게 발생하기도 한다.
3.1.1. RDD 방식 vs 가상번호 방식
휴대전화 가상번호는 일종의 1회용 가상 전화번호다.
안심번호라고도 한다.
누군가가 인터넷 쇼핑몰에서 물건을 구매할 때, 개인정보 보호 차원에서 택배 송장에 사용될 자신의 실제 휴대폰 번호를 숨기는 용도로 1회용으로 050으로 시작되는 가상번호를 만들 수 있는데, 이것이 바로 이른바 안심번호이다.
선거 여론조사를 할 때, 전국단위의 조사에서는 휴대전화 번호 무작위 걸기(RDD)를 통하여 얼마든지 조사가 가능하지만, 작은 단위의 지방자치단체를 조사할 때는 해당 지역에 거주하는 유권자의 번호를 따로 구분해 내는 것이 사실상 불가능하다.
지역을 특정할 수 있는 전화번호라고는 유선전화 뿐인데, 유선전화에 전적으로 의존하는 조사는 결과의 왜곡과 편향성 때문에 현대적 여론조사에서는 사실상 폐기된 방법론이므로 사용할 수 없다.
이런 문제의식에서 도입된 것이 가상번호인 것이다.
선거법 개정을 통해 2016년 총선 때는 정당의 비공개 자체조사에서만 활용할 수 있게 되었고, 2017년 대선 때부터는 외부의 일반 여론조사 업체에서도 사용할 수 있게 다시 법이 바뀌었으나 전국 선거라는 측면에서 활용은 많지 않았다.
2018년 지방선거 때가 되어서야 비로소 일반적이고 보편적으로 활용되기 시작했다.
가상번호를 활용한 조사를 위해서는 먼저 여론조사 업체들이 선관위 산하의 선거여론조사심의위원회를 통해 SKT, KT, LGT 등의 각 통신사로부터 조사를 원하는 특정 지역에 거주하는 유권자들의 규모와 세대 비율을 참조한 휴대전화 가상번호를 대량으로 구입한다.
이때 구입한 번호는 050으로 시작하는 1회용 가상번호이므로, 각 여론조사 업체는 실제 존재하는 전화번호를 알지 못한다.
다시 말해 가상번호 제공자는 자신의 실제 전화번호가 외부에 노출되지 않으므로 개인정보는 보장된다.
이때 활용된 가상번호는 일정 기간이 지난 후에 자동으로 소멸된다.
가상번호 조사의 장점은 정확도와 신뢰도가 높은 여론조사가 가능하다는 점, 얼마든지 지역이나 세대를 특정한 조사가 가능하다는 점, 유효한 전화번호 위주의 조사가 이뤄지므로 전반적으로 여론조사 응답률이 높아진다는 점 등이다.
휴대전화 가상번호는 2018년 지방선거의 여론조사부터 각광을 받았는데, 최종 선거 결과를 대부분 적중하는 놀라운 결과를 보였다.
단점으로는 기존의 RDD 방식 조사에 비해 조사비용이 많이 든다는 점, 표본에서 알뜰폰 사용자는 제외된다는 점 등이 있다.
참고로 전화번호 단가는 20일간 사용되는 가상번호는 전화번호 건당 330원 정도, 하루 동안 사용되는 가상번호는 건당 17원 정도 소요된다.
만약 1000명 표본으로 가상번호 전화 여론조사를 수행한다고 가정하면, 일반적으로 최소 20~30배수 가량의 가상번호 표본 구성을 하게 되므로, 조사원 인건비와 전화요금을 제외하고라도 벌써 가상번호 번호 구입 비용만으로도 이미 회당 최소 660~990만 원 가량이 소요되는 것이다.
가상번호 방식은 알뜰폰 사용자들을 표본에서 아예 제외해 전체 여론을 온전히 반영할 수 없다는 단점을 가지고 있다는 지적에 대하여, 한국갤럽에서는 자체 분석 자료를 통해 알뜰폰 사용자는 2021년 12월 현시점 기준 이동통신 3사 이용자와 알뜰폰 이용자 간 인구적 특성, 정치적 성향 차이가 크지 않으므로, 알뜰폰이 제외된다고 하더라도 가상번호 표본 추출의 신뢰도에는 별 문제가 없다고 주장하고 있다.
또, RDD 방식에서 발생하는 전화번호 표본 신뢰도가 가상번호 방식에 비해 떨어진다는 의견이 있다.
이는 유효한 전화번호 리스트 유무에 따른 차이를 근거로 삼는다.
가상번호 방식은, 리스트에 알뜰폰 가입자가 포함되어 있지 않는 문제가 있지만 비율상 절대 다수를 차지하는 통신 3사에서 성별, 지역별, 연령별 인구 구성을 정확히 맞춰서 표본을 뽑을 수 있다는 장점이 있다.
그러나 RDD 방식은, 말 그대로 임의 걸기 방식이기 때문에, 공용, 법인용, 영업용 등의 휴대전화 번호 노이즈를 걸러낼 수 없다.
여론조사 분석의 핵심적 문제인 '무응답 편향 분석' 과정에서 막대한 노이즈가 끼게 되므로, 유효하지 않은 전화번호가 대거 무응답에 포함되는 것 자체가 여론조사의 품질을 크게 하락시킨다는 지적을 받을 수 있다.
RDD 방식으로도 대표성이 높은 표본 추출을 할 수 있다는 주장도 있다.
접촉횟수를 늘리고 조사가 완료된 셀에 대한 표집은 거절함으로써 주어진 할당량에 크게 벗어나지 않는 표본을 구성할 수 있기 때문이다.
비용적인 문제가 있지만, 여론조사의 목표가 모집단의 정확한 여론 포착이라고 한다면, RDD 방식의 여론조사의 문제점으로 지적되는 과도한 과중치를 억제하는 이익이 상대적으로 더 크다.
RDD 방식의 여론조사 결과가 실제 선거 결과와 매우 유사하게 나타난 사례들이 다수 존재한다.
2016년 제20대 총선에서 RDD 방식을 이용하여 조사한 A사, 다른 업계와 달리 더불어민주당 우위를 예측, 실제 결과를 적중시켰다(https://blog.naver.com/99061). 2021년 재보궐선거에서 RDD 방식을 이용하여 조사한 B사도 마찬가지다(https://www.youtube.com/watch?v=OuWwdGkqcu8). 그러나 RDD 방식을 활용한 모든 여론조사 업체가 선거 결과를 정확하게 예측한 것은 아니다.
가령 C사는 재보궐선거에서 오세훈 후보와 박영선 후보의 지지율 차이가 30%p라는 여론조사를 공표했는데, 이는 선거 결과와 큰 차이가 있는 수치이다.
한편 제20대 대통령 선거에서 RDD 방식의 여론조사 대다수는 최종 결과에 크게 빗나간 예측 수치를 내놓았고, 방송 3사는 가상번호 전화면접 방식으로 실시한 사전투표 여론조사를 토대로 최종 득표율을 예측하였는데, 오차가 0.1%p에 가까울 정도로 적중하였다.
또, 블랙아웃 기간 직전 여론조사 중 초박빙 승부를 예측했던 것은 모두 가상번호를 활용하였기 때문에, 적어도 2022년 시점에서는 가상번호를 활용한 여론조사가 선거에서 RDD보다 훨씬 정확하다고 할 수 있다.
단, 가상번호 방식을 쓴 여론조사가 모두 초박빙 승부를 예측한 것은 아니므로, 가상번호 방식은 투표율이 높은 선거에서 여론조사 정확도를 높이기 위한 필요조건은 될 수 있어도 충분조건이 되지는 않는다.
다.
안심번호라고도 한다.
누군가가 인터넷 쇼핑몰에서 물건을 구매할 때, 개인정보 보호 차원에서 택배 송장에 사용될 자신의 실제 휴대폰 번호를 숨기는 용도로 1회용으로 050으로 시작되는 가상번호를 만들 수 있는데, 이것이 바로 이른바 안심번호이다.
선거 여론조사를 할 때, 전국단위의 조사에서는 휴대전화 번호 무작위 걸기(RDD)를 통하여 얼마든지 조사가 가능하지만, 작은 단위의 지방자치단체를 조사할 때는 해당 지역에 거주하는 유권자의 번호를 따로 구분해 내는 것이 사실상 불가능하다.
지역을 특정할 수 있는 전화번호라고는 유선전화 뿐인데, 유선전화에 전적으로 의존하는 조사는 결과의 왜곡과 편향성 때문에 현대적 여론조사에서는 사실상 폐기된 방법론이므로 사용할 수 없다.
이런 문제의식에서 도입된 것이 가상번호인 것이다.
선거법 개정을 통해 2016년 총선 때는 정당의 비공개 자체조사에서만 활용할 수 있게 되었고, 2017년 대선 때부터는 외부의 일반 여론조사 업체에서도 사용할 수 있게 다시 법이 바뀌었으나 전국 선거라는 측면에서 활용은 많지 않았다.
2018년 지방선거 때가 되어서야 비로소 일반적이고 보편적으로 활용되기 시작했다.
가상번호를 활용한 조사를 위해서는 먼저 여론조사 업체들이 선관위 산하의 선거여론조사심의위원회를 통해 SKT, KT, LGT 등의 각 통신사로부터 조사를 원하는 특정 지역에 거주하는 유권자들의 규모와 세대 비율을 참조한 휴대전화 가상번호를 대량으로 구입한다.
이때 구입한 번호는 050으로 시작하는 1회용 가상번호이므로, 각 여론조사 업체는 실제 존재하는 전화번호를 알지 못한다.
다시 말해 가상번호 제공자는 자신의 실제 전화번호가 외부에 노출되지 않으므로 개인정보는 보장된다.
이때 활용된 가상번호는 일정 기간이 지난 후에 자동으로 소멸된다.
가상번호 조사의 장점은 정확도와 신뢰도가 높은 여론조사가 가능하다는 점, 얼마든지 지역이나 세대를 특정한 조사가 가능하다는 점, 유효한 전화번호 위주의 조사가 이뤄지므로 전반적으로 여론조사 응답률이 높아진다는 점 등이다.
휴대전화 가상번호는 2018년 지방선거의 여론조사부터 각광을 받았는데, 최종 선거 결과를 대부분 적중하는 놀라운 결과를 보였다.
단점으로는 기존의 RDD 방식 조사에 비해 조사비용이 많이 든다는 점, 표본에서 알뜰폰 사용자는 제외된다는 점 등이 있다.
참고로 전화번호 단가는 20일간 사용되는 가상번호는 전화번호 건당 330원 정도, 하루 동안 사용되는 가상번호는 건당 17원 정도 소요된다.
만약 1000명 표본으로 가상번호 전화 여론조사를 수행한다고 가정하면, 일반적으로 최소 20~30배수 가량의 가상번호 표본 구성을 하게 되므로, 조사원 인건비와 전화요금을 제외하고라도 벌써 가상번호 번호 구입 비용만으로도 이미 회당 최소 660~990만 원 가량이 소요되는 것이다.
가상번호 방식은 알뜰폰 사용자들을 표본에서 아예 제외해 전체 여론을 온전히 반영할 수 없다는 단점을 가지고 있다는 지적에 대하여, 한국갤럽에서는 자체 분석 자료를 통해 알뜰폰 사용자는 2021년 12월 현시점 기준 이동통신 3사 이용자와 알뜰폰 이용자 간 인구적 특성, 정치적 성향 차이가 크지 않으므로, 알뜰폰이 제외된다고 하더라도 가상번호 표본 추출의 신뢰도에는 별 문제가 없다고 주장하고 있다.
또, RDD 방식에서 발생하는 전화번호 표본 신뢰도가 가상번호 방식에 비해 떨어진다는 의견이 있다.
이는 유효한 전화번호 리스트 유무에 따른 차이를 근거로 삼는다.
가상번호 방식은, 리스트에 알뜰폰 가입자가 포함되어 있지 않는 문제가 있지만 비율상 절대 다수를 차지하는 통신 3사에서 성별, 지역별, 연령별 인구 구성을 정확히 맞춰서 표본을 뽑을 수 있다는 장점이 있다.
그러나 RDD 방식은, 말 그대로 임의 걸기 방식이기 때문에, 공용, 법인용, 영업용 등의 휴대전화 번호 노이즈를 걸러낼 수 없다.
여론조사 분석의 핵심적 문제인 '무응답 편향 분석' 과정에서 막대한 노이즈가 끼게 되므로, 유효하지 않은 전화번호가 대거 무응답에 포함되는 것 자체가 여론조사의 품질을 크게 하락시킨다는 지적을 받을 수 있다.
RDD 방식으로도 대표성이 높은 표본 추출을 할 수 있다는 주장도 있다.
접촉횟수를 늘리고 조사가 완료된 셀에 대한 표집은 거절함으로써 주어진 할당량에 크게 벗어나지 않는 표본을 구성할 수 있기 때문이다.
비용적인 문제가 있지만, 여론조사의 목표가 모집단의 정확한 여론 포착이라고 한다면, RDD 방식의 여론조사의 문제점으로 지적되는 과도한 과중치를 억제하는 이익이 상대적으로 더 크다.
RDD 방식의 여론조사 결과가 실제 선거 결과와 매우 유사하게 나타난 사례들이 다수 존재한다.
2016년 제20대 총선에서 RDD 방식을 이용하여 조사한 A사, 다른 업계와 달리 더불어민주당 우위를 예측, 실제 결과를 적중시켰다(https://blog.naver.com/99061). 2021년 재보궐선거에서 RDD 방식을 이용하여 조사한 B사도 마찬가지다(https://www.youtube.com/watch?v=OuWwdGkqcu8). 그러나 RDD 방식을 활용한 모든 여론조사 업체가 선거 결과를 정확하게 예측한 것은 아니다.
가령 C사는 재보궐선거에서 오세훈 후보와 박영선 후보의 지지율 차이가 30%p라는 여론조사를 공표했는데, 이는 선거 결과와 큰 차이가 있는 수치이다.
한편 제20대 대통령 선거에서 RDD 방식의 여론조사 대다수는 최종 결과에 크게 빗나간 예측 수치를 내놓았고, 방송 3사는 가상번호 전화면접 방식으로 실시한 사전투표 여론조사를 토대로 최종 득표율을 예측하였는데, 오차가 0.1%p에 가까울 정도로 적중하였다.
또, 블랙아웃 기간 직전 여론조사 중 초박빙 승부를 예측했던 것은 모두 가상번호를 활용하였기 때문에, 적어도 2022년 시점에서는 가상번호를 활용한 여론조사가 선거에서 RDD보다 훨씬 정확하다고 할 수 있다.
단, 가상번호 방식을 쓴 여론조사가 모두 초박빙 승부를 예측한 것은 아니므로, 가상번호 방식은 투표율이 높은 선거에서 여론조사 정확도를 높이기 위한 필요조건은 될 수 있어도 충분조건이 되지는 않는다.
다.
3.1.2. 1,000명을 조사해서 응답한 수십 명의 인원 만으로 여론을 판단한다? (X)
틀린 말이다.
예를 들어 여론조사의 표본이 1,000명일 때 응답률이 4%라는 말은, 표본 1,000명이 채워질 때까지 전화를 걸었더니 전체 25,000명 콜 까지 걸게 되었고, 그 25,000명 콜 중에 1,000명의 응답을 받은 것의 비율을 따져보니 최종적으로 4%가 나왔다는 말이다.
결코 1,000명 중에 4%만 응답했으니 40여 명의 표본이라는 말이 절대 아니다.
예를 들어 여론조사의 표본이 1,000명일 때 응답률이 4%라는 말은, 표본 1,000명이 채워질 때까지 전화를 걸었더니 전체 25,000명 콜 까지 걸게 되었고, 그 25,000명 콜 중에 1,000명의 응답을 받은 것의 비율을 따져보니 최종적으로 4%가 나왔다는 말이다.
결코 1,000명 중에 4%만 응답했으니 40여 명의 표본이라는 말이 절대 아니다.
3.1.3. 응답률이 낮은 여론조사는 믿을 수 없다? (X)
틀린 말이다.
단적으로 말하면 응답률과 여론조사의 신뢰도 사이에는 아무런 관계가 없다.
여론조사의 신뢰도와 정확도는 표본의 무작위성, 질문의 편향성 여부, 질의 응답 항목과 보기의 적절성, 조사 방법 설계의 합리성 정도 등에 따라 달라지는 것이지, 응답률 자체가 하나의 결정적인 척도가 아니다.
심지어 몇몇 여론조사 전문가들은 응답률이 너무 과도하게 높은 조사는 되려 의심해야 한다는 이야기를 하기도 한다.
표본 자체가 오염된 바람에 여론조사에 응하는 응답자가 짧은 기간 내의 몇 번의 여론조사에 걸쳐 반복 수신을 했을 가능성이 있기 때문이다.
게다가 여론조사가 낮은 응답률을 기록하는 건, 그저, 스팸전화 때문에 여론조사에 응하지 않는 경우가 많기 때문이다.
응답률이 낮다고 해서 신뢰율이 낮다는 건 아니다.
단지 응답인원을 맞추기 위해 전화를 더 돌려야 하고, 시간과 비용이 더 들 뿐이다.
어디까지나 응답률은 부차적인 요건일 뿐이고, 가장 중요한 건 조사 표본의 신뢰도, 그리고 문항 설계와 조사 방법의 합리성과 중립성인 것이다.
일례로 아래의 그래프에도 나와 있듯이, 미국의 대표적인 비영리 여론조사 기관인 '퓨 리서치 센터'에서 과거 유선전화 시대였던 1997년에 전화 여론조사 응답률이 평균 36% 수준이었던 것이, 2009년에는 15%, 2018년에는 평균 6% 수준으로 하락했다는 내용의 분석 자료를 발표하기도 했다.
당시만 해도 이런 급격한 변화 양상을 두고 미국 내 관련 학계의 의견이 분분했으나, 시간이 지난 후 현재는 응답률 저하 문제는 통신 환경이나 생활 패턴의 변화 때문이지, 조사 신뢰도와는 큰 관련이 없다는 것으로 수렴되었다.
대표적으로 미국의 여론조사 응답률이 한 자릿수를 찍었을 때 힐러리 vs. 오바마 조사를 한 적이 있었고, 오바마는 어느 순간 여론조사에서 힐러리를 따고 앞서나갔으며, 결국 대통령 후보로 결정되었다.
그리고, 그 결과는 그대로 오바마의 대통령 당선으로 이어졌다.
결국 여론조사가 적중했던 셈. 당락을 못 맞췄던 2016년 대선의 경우에도, 대다수의 전국 단위 여론조사 결과와 마찬가지로 전국 개표 수에서는 힐러리가 이겼지만, 미국 대선의 특수성으로 인해 선거인단 선거에서는 트럼프가 승리한 바가 있다.
한국의 사정 또한 마찬가지인데, 응답률이 한자릿 수인 ARS 조사든, 두자릿 수인 전화면접 조사든 간에, 응답률 자체의 숫자의 차이는 있어도, 표본이 정확하고 조사 설계만 제대로 되어 있다면 선거 결과는 비교적 정확하게 맞히는 편이다.
다.
단적으로 말하면 응답률과 여론조사의 신뢰도 사이에는 아무런 관계가 없다.
여론조사의 신뢰도와 정확도는 표본의 무작위성, 질문의 편향성 여부, 질의 응답 항목과 보기의 적절성, 조사 방법 설계의 합리성 정도 등에 따라 달라지는 것이지, 응답률 자체가 하나의 결정적인 척도가 아니다.
심지어 몇몇 여론조사 전문가들은 응답률이 너무 과도하게 높은 조사는 되려 의심해야 한다는 이야기를 하기도 한다.
표본 자체가 오염된 바람에 여론조사에 응하는 응답자가 짧은 기간 내의 몇 번의 여론조사에 걸쳐 반복 수신을 했을 가능성이 있기 때문이다.
게다가 여론조사가 낮은 응답률을 기록하는 건, 그저, 스팸전화 때문에 여론조사에 응하지 않는 경우가 많기 때문이다.
응답률이 낮다고 해서 신뢰율이 낮다는 건 아니다.
단지 응답인원을 맞추기 위해 전화를 더 돌려야 하고, 시간과 비용이 더 들 뿐이다.
어디까지나 응답률은 부차적인 요건일 뿐이고, 가장 중요한 건 조사 표본의 신뢰도, 그리고 문항 설계와 조사 방법의 합리성과 중립성인 것이다.
일례로 아래의 그래프에도 나와 있듯이, 미국의 대표적인 비영리 여론조사 기관인 '퓨 리서치 센터'에서 과거 유선전화 시대였던 1997년에 전화 여론조사 응답률이 평균 36% 수준이었던 것이, 2009년에는 15%, 2018년에는 평균 6% 수준으로 하락했다는 내용의 분석 자료를 발표하기도 했다.
당시만 해도 이런 급격한 변화 양상을 두고 미국 내 관련 학계의 의견이 분분했으나, 시간이 지난 후 현재는 응답률 저하 문제는 통신 환경이나 생활 패턴의 변화 때문이지, 조사 신뢰도와는 큰 관련이 없다는 것으로 수렴되었다.
대표적으로 미국의 여론조사 응답률이 한 자릿수를 찍었을 때 힐러리 vs. 오바마 조사를 한 적이 있었고, 오바마는 어느 순간 여론조사에서 힐러리를 따고 앞서나갔으며, 결국 대통령 후보로 결정되었다.
그리고, 그 결과는 그대로 오바마의 대통령 당선으로 이어졌다.
결국 여론조사가 적중했던 셈. 당락을 못 맞췄던 2016년 대선의 경우에도, 대다수의 전국 단위 여론조사 결과와 마찬가지로 전국 개표 수에서는 힐러리가 이겼지만, 미국 대선의 특수성으로 인해 선거인단 선거에서는 트럼프가 승리한 바가 있다.
한국의 사정 또한 마찬가지인데, 응답률이 한자릿 수인 ARS 조사든, 두자릿 수인 전화면접 조사든 간에, 응답률 자체의 숫자의 차이는 있어도, 표본이 정확하고 조사 설계만 제대로 되어 있다면 선거 결과는 비교적 정확하게 맞히는 편이다.
다.
3.1.4. 유선전화 비율이 높을수록 조사 결과가 왜곡된다? (O)
사실이다.
더 정확히 말하면, 전화 여론조사를 할 때, 유선전화 비율이 높을수록 정치적으로 보수적인 성향을 가진 계층의 응답이 과잉 대표되는 경향성이 있다.
유선전화를 이용한 조사는 과거 휴대전화가 보급되지 않던 시절에는 유일한 전화 통신 수단으로써 중점적으로 활용되었으며, 특히 지역번호나 전화의 국번 등으로 지역을 특정하여 가려낼 수 있기 때문에, 전국 조사뿐만 아니라, 특정 지역을 조사를 할 때도 큰 비중으로 쓰이곤 했다.
그러나 방송통신위원회에서 발표한 '2021 방송매체 이용행태 조사' 보고서에 의하면, 가구별 유선전화 보유율은 21.7%에 불과하며, 반면 개인의 휴대전화 보유율은 99.1%에 달한다.
유선전화 보유 가구 자체가 전체의 채 4분의 1도 되지 않는 시대가 된 것이다.
특히 이 가구별 유선전화 보유율 또한 해가 갈수록 급격히 낮아지는 추세이다.
전화 여론조사에서는 통신수단들의 커버리지가 핵심적으로 고려해야 할 요소이므로, 유선전화와 무선전화의 적절한 비율에 대한 논의는 현대의 여론조사에서 중요하게 다뤄진다.
문제는 개인별 휴대전화 보유율이 100% 수준에 근접하고, 가구별 유선전화 보유율은 20% 수준이며, 특히 유선전화 사용 가구 구성원들 중에서도 '오직 유선전화만' 쓰는 사람이 극히 드물어진 시대가 되었다는 점이다.
다시 말해, 설령 유선전화 보유 가구나 유선전화 보유 가구의 구성원이라 할 지라도, 이제는 해당 구성원들이 다들 각자 하나씩 휴대전화를 가지고 다니게 된 시대이기 때문에, 개인별 휴대전화 보유율이 그닥 높지 않던 과거와는 달리, 지금은 굳이 유선전화를 전화 여론조사의 주요 수단으로 볼 필요가 없게 된 것이다.
일단 유선전화는 이른바 '재택 성향'에 관한 문제가 크다.
일단 낮 시간대에는 유선전화를 받을 수 있는 계층이 지극히 한정되어 있다.
집에 사람이 있을 수도 있고 없을 수도 있는데, 유선전화는 오직 집에 있는 사람에게만 접촉이 가능한 통신 수단이기 때문이다.
따라서 유선전화는 필연적으로 자영업, 전업주부, 장노년층, 은퇴, 무직, 저학력층, 저소득층 등이 주로 응답하게 되는데, 당연히 여론조사에서 유선전화를 일정 수준 이상으로 활용하면 이런 '특정 계층'의 응답들 위주로 표집될 수밖에 없는 것이다.
기본적으로 여론조사에서는 필수적으로 가중치 부가 작업이 등장한다.
이는 응답을 통해 나온 답변의 분포를 실제 세대별 인구 비와 비슷하게 조정해서 맞추는 과정을 말하는데, 일례로, 젊은 계층은 오전이나 낮 일과 시간에 여론조사 응답을 할 여유가 없는 경우가 일반적이므로, 대부분의 여론조사에서 20대에서 40대까지의 응답률은 적게 나오고, 중장년층의 응답률은 높게 나오는 경향성을 보인다.
이렇게 다소간에 과다 표집이나 과소 표집이 된 결과를 갖고, 다시 세대별 인구 분포의 비율에 맞게 가중치나 가감치를 곱해서 실제 인구 분포에 맞게 맞추는 과정을 거쳐야 한다.
문제는 이런 가중치 부가 과정을 통해 결과적으로 유선 전화를 통해서, 또는 낮 시간에 표집되기 어려운 계층일수록, 전화에 적극적으로 응답한 사람들의 성향이 실제보다 뻥튀기 되어 실제보다 더 크게 대표 될 수도 있는 것이다.
이것이 이른바 유선전화 응답자의 '과잉 대표' 문제이다.
그리고 유선전화와 무선전화의 결정적인 차이로 꼽히는 것이 바로 '대표성'이다.
유선전화는 어디까지나 '가구 대표성'에 의존하는 통신수단인 반면, 무선전화는 철저히 '개인 대표성'을 띄는 통신수단이기 때문이다.
개인용 통신 수단이 없거나, 있더라도 그 규모가 크지 않던 과거 90년대까지는 가구 대표성을 가진 유선전화만으로도 가구 구성원 개인들에게 충분히 도달하여 대표성을 확보할 수 있었지만, 가구 구조, 사회 활동 형태, 통신 환경 등이 급격히 변화하고, 특히 이미 완벽한 개인 대표성을 가진 통신 수단인 휴대전화가 100% 수준으로 보급된 사회에서, 개인 대표성이 희박하고 통신 도달율도 떨어지는 유선전화라는 수단을 굳이 여론조사에서 일정 비율 포함 시켜야 할 이유가 있냐는 것이다.
그리고 심지어 통계분석적 측면에서도, 유선전화 응답자와 무선전화 응답자라는, 대표성이 완전히 다른 두 모집단에서 도출된 별도의 통계들을 마치 하나의 모집단이었던 것처럼 산술적으로 합쳐서 계산한 뒤 결론내는 것이 과연 과학적인 방법이냐는 비판까지도 가능하다.
결론적으로, '유선전화 사용자'라는 모집단이 이미 편향된 성격을 띠고 있다면, 무작위 걸기(RDD, Random Digit Dialing)의 의미 자체가 사라지게 된다.
이 때문에 일련의 특정 여론조사에서 오랫동안 '유선전화 비율'을 일정하게 꾸준히 유지한다는 것 자체에서 문제가 발생할 수도 있다.
유선전화 보유자나 활용자들의 규모 자체가 2022년 현재 기준으로 최근 6~7년 정도 사이에 급격히 쪼그라든 상황에서, 유선전화 비율을 오랜시간 꾸준히 일정하게 유지한다는 것 자체가 여론 통계 왜곡의 직접적인 원인이 될 수 있기 때문이다.
다시 말해, 유선전화 보유율과 사용율이 해가 갈 수록 급격히 하락하여 실질적 유선전화 단독 사용율이 사실상 0%로 수렴하는 상황에서는, 오랫동안 여론조사에서 유선전화의 절대적 비율을 똑같이 유지하는 것이 결과적으로 유선전화의 상대적 반영 비율을 계속 급격히 높이는 원인이 된다는 것. 예를 들면, 방송통신위원회에서 매년 발간하는 '방송매체 이용행태 조사' 보고서를 보면, 2015년의 가구별 집전화 보유율은 55.1%로 조사되었으나, 2021년에는 26.1%로 조사되어 사실상 반토막이 났으며, 보유율의 하락세 또한 매우 가파르다.
다시 말해, 유선전화의 통신 커버리지 자체가 최근 몇년 사이에 급격히 쪼그라들고 있다는 이야기인데, 이런 상황에서 오랫동안 전화 여론조사상의 유선전화 반영 비율을 일정 수준으로 꾸준히 유지하는 것이 과연 합리적인 조사 설계이냐는 것.이런 이유들 때문에 유선전화를 활용해서 통신 접촉을 시도하면, 모집단 구성 자체에 크나큰 허점이 생기게 된다.
한정된 커버리지, 재택성향의 한계, 협소한 대표성, 모집단의 심각한 왜곡 등의 특성 때문에 일정한 접촉의 편향성을 띨 수밖에 없는 유선전화를 통한 통신 접촉 자체가 여론조사시 통계적 편향의 큰 원인이 될 수 있다는 결론이 자연스럽게 나오게 되었던 것. 휴대전화가 점차 보급되며 통신 환경이 급변하기 시작한 2000년대 초반, 스마트폰이 빠르게 보급되기 시작한 2010년대 초반, 그리고 가구별 유선전화 보유율의 급락이 본격적으로 가시화 된 2010년대 중반, 이러한 몇몇 변혁의 시점을 거치며, 전화 여론조사의 주요 수단으로써의 유선전화 가치의 급락이 경험적 측변에서 더욱 가시화 되었다고 볼 수 있다.
참고로 응답 왜곡 현상은 직업군 구분에서도 동일하게 나타난다.
만 18세에서 30대까지의, 청년층을 대상으로 한 조사라고 해도 유선전화일 경우에는 학생, 화이트 칼라 계층, 블루 칼라 계층 등의 응답이 현저히 떨어진다.
당연히 자신의 일과시간이나 활동시간에는 유선전화를 받을 수 없기 때문이다.
대신 상대적으로 집에서 유선전화를 수월하게 받을 수 있는 무직, 자영업, 전업주부 등의 계층의 응답이 같은 연령층에서도 대부분을 차지할 수 있게 된다.
보통 무직, 자영업, 전업주부 등은 정치적으로 보수적 성향을 보이는 계층인데, 따라서 유선전화 위주의 조사에서는 결과적으로 심지어 젊은층에서조차 보수적 응답이 과대 대표 될 수 있는 것이다.
실제 2022년 현재, 만 18세에서 60대까지의 연령대는 무선 휴대전화의 보유율이 사실상 100%라고 봐도 무방한 수준인데, 이런 세대를 대상으로 한 전화 여론조사에서 유선전화 접촉의 비율을 상당 수준으로 높여버린다면, 결과적으로 유선전화 응답자들에 대한 과잉 대표 문제가 발생할 수밖에 없다.
이 가중치 부가 작업은 때에 따라서는 거주지역, 직업군, 정치성향 등에서도 이뤄지긴 하지만, 대체로 성별, 세대별 인구 보정이 기본이다.
따라서 응답한 결과와 실제 인구비의 폭이 너무 커서, 전화에 응답한 무직, 가정주부, 자영업인 젊은 사람 1명의 응답이 그 연령대 응답층에서 너무 많은 영향을 끼치게 될 수도 있다.
다시 말해 통신 환경 자체가 변화한 현대에서는 유선전화 위주의 조사 자체가 여론조사를 보수 편향적으로 왜곡하는 결과를 낳을 수도 있는 것이다.
이런 현실을 감안하여 최근 대부분의 전국단위 전화 여론조사에서는 아무리 많아도 유선전화의 비율이 15% 이하 수준에서 한정되고 있다.
일례로 선관위의 중앙선거여론조사 심의위원회 홈페이지에 매주 전국단위 정례조사를 등록하는 업체인 한국갤럽의 경우, 2022년 현재 유선전화의 비율을 10%로 한정하여 수행하고 있으며, 리얼미터는 유선전화 반영 비율을 과거 10~15% 수준에서 아예 3%로 정도로 크게 낮췄다.
지상파 방송국과 손잡고 여론조사를 수행하는 한국리서치나 코리아리서치의 경우에는 전국단위 대규모 조사에서 모집단 신뢰도 향상을 위해 아예 무선전화 안심번호 100%로만 조사를 진행하고 있다.
참고로 과거 휴대전화 보유율이 다른 세대에 비해 상대적으로 낮았던 70대 이상 노년층에서조차 최근 들어 무선전화 보유율이 급격히 높아지는 추세를 보이고 있으므로, 앞으로는 일정 비율의 유선전화가 들어간 여론조사보다는 무선전화 100% 여론조사 위주로 더욱 중점적으로 이뤄질 가능성이 높다.
실제로 2022년 현재 정례적으로 발표되는 전국단위 전화조사에서조차, 무선전화 100%로 수행하는 조사가 대부분이 되고 있는 현실이며, 아예 유선전화 비율이 일정부분 이상 포함된 조사는 유선전화 비율 만큼을 감안해서 결과를 해석해야 한다는 주장이 많아지고 있다.
다시 말해, 위에서 서술된 바와 같이, 2021년 현재 개인별 휴대전화 보유율이 99.1%를 기록한 한국 상황에서, 80대 이하의 투표 의향층의 경우에는 휴대폰이 없는 사람은 사실상 없다고 봐도 무방하니, 전국단위 조사에서 무선 휴대전화 100% 조사를 수행하는 것도 얼마든지 합리적이라는 의견이 대부분이며, 실제 다양한 곳에서 그런 방식의 조사가 발표되고 있다.
2022년 현재 매주 발표되는 정례조사를 기준으로 보면, 엠브레인퍼블릭, 케이스탯리서치, 코리아리서치인터내셔널, 한국리서치 등에서 수행하는 NBS 전국 지표조사에서는 전국단위 휴대전화 안심번호 전화면접 100%로 조사하며, 지상파 방송국에서 발표하는 정례조사에도 특별한 경우를 제외하고는 대부분 무선전화 안심번호 100% 조사로 수행되고 있다.
한편 농촌 지역에서 전화 여론조사를 수행할 때는 보수 정당의 조직력과 노년층 위주의 유권자 분포를 감안해서 유선전화의 비율이 일정 수준 이상 정도는 되어야 유권자들의 표심을 충분히 잡아낼 수 있다는 주장도 존재한다.
참고로 방송통신위원회에서 발표한 '2021 방송매체 이용행태 조사' 기준으로 보면, 가구별 일반전화 보유율이 40% 수준을 넘는 세부 응답층은 70대 이상 연령대, 군(郡)단위 지역 거주 가구 정도 뿐이다.
그러나 2022년 현재는 70대 이하의 연령층, 또는 실질적 투표 의향층에서는 개인별 휴대전화 보유율이 사실상 100%인 상황이고, 심지어 전통적 통신 취약 계층인 70대 이상의 고령층에서조차 휴대전화 보유율이 93.8%로 조사되었으며, 군(郡)단위 지역 거주 가구의 경우에도 휴대전화 보유율이 97.6%로 조사되었고, 특히 매년 고령층의 휴대전화 보유율 또한 지속적으로 높아지고 있므로, 굳이 그렇게까지 유선 비율을 높일 필요는 없다는 반론도 제시되고 있다.
참고로 중앙여론조사심의위원회에서는 2022년부터 선거 여론조사에서 유선전화 비율을 되도록 40% 미만으로 수행할 것을 권고하고 있으므로, 앞으로 농촌지역의 여론조사에서조차 유선전화 비율은 점차 줄어들 전망이다.
더 정확히 말하면, 전화 여론조사를 할 때, 유선전화 비율이 높을수록 정치적으로 보수적인 성향을 가진 계층의 응답이 과잉 대표되는 경향성이 있다.
유선전화를 이용한 조사는 과거 휴대전화가 보급되지 않던 시절에는 유일한 전화 통신 수단으로써 중점적으로 활용되었으며, 특히 지역번호나 전화의 국번 등으로 지역을 특정하여 가려낼 수 있기 때문에, 전국 조사뿐만 아니라, 특정 지역을 조사를 할 때도 큰 비중으로 쓰이곤 했다.
그러나 방송통신위원회에서 발표한 '2021 방송매체 이용행태 조사' 보고서에 의하면, 가구별 유선전화 보유율은 21.7%에 불과하며, 반면 개인의 휴대전화 보유율은 99.1%에 달한다.
유선전화 보유 가구 자체가 전체의 채 4분의 1도 되지 않는 시대가 된 것이다.
특히 이 가구별 유선전화 보유율 또한 해가 갈수록 급격히 낮아지는 추세이다.
전화 여론조사에서는 통신수단들의 커버리지가 핵심적으로 고려해야 할 요소이므로, 유선전화와 무선전화의 적절한 비율에 대한 논의는 현대의 여론조사에서 중요하게 다뤄진다.
문제는 개인별 휴대전화 보유율이 100% 수준에 근접하고, 가구별 유선전화 보유율은 20% 수준이며, 특히 유선전화 사용 가구 구성원들 중에서도 '오직 유선전화만' 쓰는 사람이 극히 드물어진 시대가 되었다는 점이다.
다시 말해, 설령 유선전화 보유 가구나 유선전화 보유 가구의 구성원이라 할 지라도, 이제는 해당 구성원들이 다들 각자 하나씩 휴대전화를 가지고 다니게 된 시대이기 때문에, 개인별 휴대전화 보유율이 그닥 높지 않던 과거와는 달리, 지금은 굳이 유선전화를 전화 여론조사의 주요 수단으로 볼 필요가 없게 된 것이다.
일단 유선전화는 이른바 '재택 성향'에 관한 문제가 크다.
일단 낮 시간대에는 유선전화를 받을 수 있는 계층이 지극히 한정되어 있다.
집에 사람이 있을 수도 있고 없을 수도 있는데, 유선전화는 오직 집에 있는 사람에게만 접촉이 가능한 통신 수단이기 때문이다.
따라서 유선전화는 필연적으로 자영업, 전업주부, 장노년층, 은퇴, 무직, 저학력층, 저소득층 등이 주로 응답하게 되는데, 당연히 여론조사에서 유선전화를 일정 수준 이상으로 활용하면 이런 '특정 계층'의 응답들 위주로 표집될 수밖에 없는 것이다.
기본적으로 여론조사에서는 필수적으로 가중치 부가 작업이 등장한다.
이는 응답을 통해 나온 답변의 분포를 실제 세대별 인구 비와 비슷하게 조정해서 맞추는 과정을 말하는데, 일례로, 젊은 계층은 오전이나 낮 일과 시간에 여론조사 응답을 할 여유가 없는 경우가 일반적이므로, 대부분의 여론조사에서 20대에서 40대까지의 응답률은 적게 나오고, 중장년층의 응답률은 높게 나오는 경향성을 보인다.
이렇게 다소간에 과다 표집이나 과소 표집이 된 결과를 갖고, 다시 세대별 인구 분포의 비율에 맞게 가중치나 가감치를 곱해서 실제 인구 분포에 맞게 맞추는 과정을 거쳐야 한다.
문제는 이런 가중치 부가 과정을 통해 결과적으로 유선 전화를 통해서, 또는 낮 시간에 표집되기 어려운 계층일수록, 전화에 적극적으로 응답한 사람들의 성향이 실제보다 뻥튀기 되어 실제보다 더 크게 대표 될 수도 있는 것이다.
이것이 이른바 유선전화 응답자의 '과잉 대표' 문제이다.
그리고 유선전화와 무선전화의 결정적인 차이로 꼽히는 것이 바로 '대표성'이다.
유선전화는 어디까지나 '가구 대표성'에 의존하는 통신수단인 반면, 무선전화는 철저히 '개인 대표성'을 띄는 통신수단이기 때문이다.
개인용 통신 수단이 없거나, 있더라도 그 규모가 크지 않던 과거 90년대까지는 가구 대표성을 가진 유선전화만으로도 가구 구성원 개인들에게 충분히 도달하여 대표성을 확보할 수 있었지만, 가구 구조, 사회 활동 형태, 통신 환경 등이 급격히 변화하고, 특히 이미 완벽한 개인 대표성을 가진 통신 수단인 휴대전화가 100% 수준으로 보급된 사회에서, 개인 대표성이 희박하고 통신 도달율도 떨어지는 유선전화라는 수단을 굳이 여론조사에서 일정 비율 포함 시켜야 할 이유가 있냐는 것이다.
그리고 심지어 통계분석적 측면에서도, 유선전화 응답자와 무선전화 응답자라는, 대표성이 완전히 다른 두 모집단에서 도출된 별도의 통계들을 마치 하나의 모집단이었던 것처럼 산술적으로 합쳐서 계산한 뒤 결론내는 것이 과연 과학적인 방법이냐는 비판까지도 가능하다.
결론적으로, '유선전화 사용자'라는 모집단이 이미 편향된 성격을 띠고 있다면, 무작위 걸기(RDD, Random Digit Dialing)의 의미 자체가 사라지게 된다.
이 때문에 일련의 특정 여론조사에서 오랫동안 '유선전화 비율'을 일정하게 꾸준히 유지한다는 것 자체에서 문제가 발생할 수도 있다.
유선전화 보유자나 활용자들의 규모 자체가 2022년 현재 기준으로 최근 6~7년 정도 사이에 급격히 쪼그라든 상황에서, 유선전화 비율을 오랜시간 꾸준히 일정하게 유지한다는 것 자체가 여론 통계 왜곡의 직접적인 원인이 될 수 있기 때문이다.
다시 말해, 유선전화 보유율과 사용율이 해가 갈 수록 급격히 하락하여 실질적 유선전화 단독 사용율이 사실상 0%로 수렴하는 상황에서는, 오랫동안 여론조사에서 유선전화의 절대적 비율을 똑같이 유지하는 것이 결과적으로 유선전화의 상대적 반영 비율을 계속 급격히 높이는 원인이 된다는 것. 예를 들면, 방송통신위원회에서 매년 발간하는 '방송매체 이용행태 조사' 보고서를 보면, 2015년의 가구별 집전화 보유율은 55.1%로 조사되었으나, 2021년에는 26.1%로 조사되어 사실상 반토막이 났으며, 보유율의 하락세 또한 매우 가파르다.
다시 말해, 유선전화의 통신 커버리지 자체가 최근 몇년 사이에 급격히 쪼그라들고 있다는 이야기인데, 이런 상황에서 오랫동안 전화 여론조사상의 유선전화 반영 비율을 일정 수준으로 꾸준히 유지하는 것이 과연 합리적인 조사 설계이냐는 것.이런 이유들 때문에 유선전화를 활용해서 통신 접촉을 시도하면, 모집단 구성 자체에 크나큰 허점이 생기게 된다.
한정된 커버리지, 재택성향의 한계, 협소한 대표성, 모집단의 심각한 왜곡 등의 특성 때문에 일정한 접촉의 편향성을 띨 수밖에 없는 유선전화를 통한 통신 접촉 자체가 여론조사시 통계적 편향의 큰 원인이 될 수 있다는 결론이 자연스럽게 나오게 되었던 것. 휴대전화가 점차 보급되며 통신 환경이 급변하기 시작한 2000년대 초반, 스마트폰이 빠르게 보급되기 시작한 2010년대 초반, 그리고 가구별 유선전화 보유율의 급락이 본격적으로 가시화 된 2010년대 중반, 이러한 몇몇 변혁의 시점을 거치며, 전화 여론조사의 주요 수단으로써의 유선전화 가치의 급락이 경험적 측변에서 더욱 가시화 되었다고 볼 수 있다.
참고로 응답 왜곡 현상은 직업군 구분에서도 동일하게 나타난다.
만 18세에서 30대까지의, 청년층을 대상으로 한 조사라고 해도 유선전화일 경우에는 학생, 화이트 칼라 계층, 블루 칼라 계층 등의 응답이 현저히 떨어진다.
당연히 자신의 일과시간이나 활동시간에는 유선전화를 받을 수 없기 때문이다.
대신 상대적으로 집에서 유선전화를 수월하게 받을 수 있는 무직, 자영업, 전업주부 등의 계층의 응답이 같은 연령층에서도 대부분을 차지할 수 있게 된다.
보통 무직, 자영업, 전업주부 등은 정치적으로 보수적 성향을 보이는 계층인데, 따라서 유선전화 위주의 조사에서는 결과적으로 심지어 젊은층에서조차 보수적 응답이 과대 대표 될 수 있는 것이다.
실제 2022년 현재, 만 18세에서 60대까지의 연령대는 무선 휴대전화의 보유율이 사실상 100%라고 봐도 무방한 수준인데, 이런 세대를 대상으로 한 전화 여론조사에서 유선전화 접촉의 비율을 상당 수준으로 높여버린다면, 결과적으로 유선전화 응답자들에 대한 과잉 대표 문제가 발생할 수밖에 없다.
이 가중치 부가 작업은 때에 따라서는 거주지역, 직업군, 정치성향 등에서도 이뤄지긴 하지만, 대체로 성별, 세대별 인구 보정이 기본이다.
따라서 응답한 결과와 실제 인구비의 폭이 너무 커서, 전화에 응답한 무직, 가정주부, 자영업인 젊은 사람 1명의 응답이 그 연령대 응답층에서 너무 많은 영향을 끼치게 될 수도 있다.
다시 말해 통신 환경 자체가 변화한 현대에서는 유선전화 위주의 조사 자체가 여론조사를 보수 편향적으로 왜곡하는 결과를 낳을 수도 있는 것이다.
이런 현실을 감안하여 최근 대부분의 전국단위 전화 여론조사에서는 아무리 많아도 유선전화의 비율이 15% 이하 수준에서 한정되고 있다.
일례로 선관위의 중앙선거여론조사 심의위원회 홈페이지에 매주 전국단위 정례조사를 등록하는 업체인 한국갤럽의 경우, 2022년 현재 유선전화의 비율을 10%로 한정하여 수행하고 있으며, 리얼미터는 유선전화 반영 비율을 과거 10~15% 수준에서 아예 3%로 정도로 크게 낮췄다.
지상파 방송국과 손잡고 여론조사를 수행하는 한국리서치나 코리아리서치의 경우에는 전국단위 대규모 조사에서 모집단 신뢰도 향상을 위해 아예 무선전화 안심번호 100%로만 조사를 진행하고 있다.
참고로 과거 휴대전화 보유율이 다른 세대에 비해 상대적으로 낮았던 70대 이상 노년층에서조차 최근 들어 무선전화 보유율이 급격히 높아지는 추세를 보이고 있으므로, 앞으로는 일정 비율의 유선전화가 들어간 여론조사보다는 무선전화 100% 여론조사 위주로 더욱 중점적으로 이뤄질 가능성이 높다.
실제로 2022년 현재 정례적으로 발표되는 전국단위 전화조사에서조차, 무선전화 100%로 수행하는 조사가 대부분이 되고 있는 현실이며, 아예 유선전화 비율이 일정부분 이상 포함된 조사는 유선전화 비율 만큼을 감안해서 결과를 해석해야 한다는 주장이 많아지고 있다.
다시 말해, 위에서 서술된 바와 같이, 2021년 현재 개인별 휴대전화 보유율이 99.1%를 기록한 한국 상황에서, 80대 이하의 투표 의향층의 경우에는 휴대폰이 없는 사람은 사실상 없다고 봐도 무방하니, 전국단위 조사에서 무선 휴대전화 100% 조사를 수행하는 것도 얼마든지 합리적이라는 의견이 대부분이며, 실제 다양한 곳에서 그런 방식의 조사가 발표되고 있다.
2022년 현재 매주 발표되는 정례조사를 기준으로 보면, 엠브레인퍼블릭, 케이스탯리서치, 코리아리서치인터내셔널, 한국리서치 등에서 수행하는 NBS 전국 지표조사에서는 전국단위 휴대전화 안심번호 전화면접 100%로 조사하며, 지상파 방송국에서 발표하는 정례조사에도 특별한 경우를 제외하고는 대부분 무선전화 안심번호 100% 조사로 수행되고 있다.
한편 농촌 지역에서 전화 여론조사를 수행할 때는 보수 정당의 조직력과 노년층 위주의 유권자 분포를 감안해서 유선전화의 비율이 일정 수준 이상 정도는 되어야 유권자들의 표심을 충분히 잡아낼 수 있다는 주장도 존재한다.
참고로 방송통신위원회에서 발표한 '2021 방송매체 이용행태 조사' 기준으로 보면, 가구별 일반전화 보유율이 40% 수준을 넘는 세부 응답층은 70대 이상 연령대, 군(郡)단위 지역 거주 가구 정도 뿐이다.
그러나 2022년 현재는 70대 이하의 연령층, 또는 실질적 투표 의향층에서는 개인별 휴대전화 보유율이 사실상 100%인 상황이고, 심지어 전통적 통신 취약 계층인 70대 이상의 고령층에서조차 휴대전화 보유율이 93.8%로 조사되었으며, 군(郡)단위 지역 거주 가구의 경우에도 휴대전화 보유율이 97.6%로 조사되었고, 특히 매년 고령층의 휴대전화 보유율 또한 지속적으로 높아지고 있므로, 굳이 그렇게까지 유선 비율을 높일 필요는 없다는 반론도 제시되고 있다.
참고로 중앙여론조사심의위원회에서는 2022년부터 선거 여론조사에서 유선전화 비율을 되도록 40% 미만으로 수행할 것을 권고하고 있으므로, 앞으로 농촌지역의 여론조사에서조차 유선전화 비율은 점차 줄어들 전망이다.
3.1.5. 장노년층 응답자는 끊어버린다? (X)
틀린 말이다.
유선전화는 장노년층의 참여가 훨씬 많을 수 밖에 없고, 젊은 층들은 유선전화 휴대전화를 막론하고 여론조사 전화를 잘 받지 않는다.
그래서 가중치 부가 작업을 수행하지만, 부가하는 가중치에도 한계가 있다.
참고로 2019년 10월부터 시행된 선거여론조사 기준 사항을 보면, 가중치는 최대 1.5배, 최소 0.7배까지만 줄 수 있다.
예를 들면, 20대를 150명 조사해야 한다면 최소한 100명 정도는 조사를 완료해야 응답자 1명 당 너무 큰 대표성을 갖게 되는 걸 막을 수 있다.
또한 60대를 200명 조사해야 한다면 최대 286명까지는 조사해도 되지만, 가중치 기준을 넘어 굳이 300명까지 계속 조사할 필요는 없다는 것이다.
청년층과 중년층의 경우에는 일과시간에는 집 전화는 아예 받지 못하고, 심지어 휴대전화가 온다고 해도 쉽게 받기가 힘들다.
학교나 직장에서 공부나 일을 하는 경우가 많기 때문이다.
이런 저런 이유 때문에 당연히 상대적으로 60대 이상 노년층이 목표하는 표본을 채우는 속도가 빠르므로, 다른 세대 조사에 필요한 표본 수를 채우기도 전에 먼저 표본이 차버리는 경우가 대부분이고, 이럴 때는 60대 이상의 표본 채집은 중지하고 다른 세대 위주로 조사하게 된다.
그래서 자신이 60대 이상이라면, 여론조사 전화를 받고서 연령대를 응답하자마자 "선생님은 조사 대상이 아닙니다"라는 안내 멘트와 함께 조사가 중단되는 경우를 자주 겪게 되는 것이다.
장노년층을 일부러 여론조사에서 배제하려는 것이 아니라, 표본 구성 과정에서 자연스럽게 발생하는 현상이다.
유선전화는 장노년층의 참여가 훨씬 많을 수 밖에 없고, 젊은 층들은 유선전화 휴대전화를 막론하고 여론조사 전화를 잘 받지 않는다.
그래서 가중치 부가 작업을 수행하지만, 부가하는 가중치에도 한계가 있다.
참고로 2019년 10월부터 시행된 선거여론조사 기준 사항을 보면, 가중치는 최대 1.5배, 최소 0.7배까지만 줄 수 있다.
예를 들면, 20대를 150명 조사해야 한다면 최소한 100명 정도는 조사를 완료해야 응답자 1명 당 너무 큰 대표성을 갖게 되는 걸 막을 수 있다.
또한 60대를 200명 조사해야 한다면 최대 286명까지는 조사해도 되지만, 가중치 기준을 넘어 굳이 300명까지 계속 조사할 필요는 없다는 것이다.
청년층과 중년층의 경우에는 일과시간에는 집 전화는 아예 받지 못하고, 심지어 휴대전화가 온다고 해도 쉽게 받기가 힘들다.
학교나 직장에서 공부나 일을 하는 경우가 많기 때문이다.
이런 저런 이유 때문에 당연히 상대적으로 60대 이상 노년층이 목표하는 표본을 채우는 속도가 빠르므로, 다른 세대 조사에 필요한 표본 수를 채우기도 전에 먼저 표본이 차버리는 경우가 대부분이고, 이럴 때는 60대 이상의 표본 채집은 중지하고 다른 세대 위주로 조사하게 된다.
그래서 자신이 60대 이상이라면, 여론조사 전화를 받고서 연령대를 응답하자마자 "선생님은 조사 대상이 아닙니다"라는 안내 멘트와 함께 조사가 중단되는 경우를 자주 겪게 되는 것이다.
장노년층을 일부러 여론조사에서 배제하려는 것이 아니라, 표본 구성 과정에서 자연스럽게 발생하는 현상이다.
3.1.6. 표본 수가 1,000명 밖에 안 되서 의미가 없다? (△)
반은 맞고 반은 틀린 말이다.
먼저 반은 틀렸다는 쪽에 대해 설명하자면, 통계와 확률에 대한 이해 부족에서 비롯된다.
1000명 이상의 여론조사는 보통의 여론조사에서 매우 많은 조사인원이다.
그 이유는 보통 표본 추출 작업, 가중치 부가 작업이 잘 되었다는 전제하에 1000명 정도면 모집단의 수와 무관하게 충분히 의미 있는 결과를 내고도 남기 때문이다.
여론조사 전문가들은 "국을 끓일 때 모든 국물을 다 마셔보지 않아도, 한 숟가락만 먹어 보면 국의 간을 알 수 있다.
다만 국이 잘 섞여있어야 한다"는 비유를 들어 설명한다.
여론조사의 표본 구성이 충분히 무작위로 잘 되었고, 조사의 과정이 정상적으로 잘 이뤄지기만 했다면, 표본 1000명 정도는 조사 결과 도출에 충분하다는 것이다.
일례로 인구가 3억 명이 넘는 미국에서도 정치&선거 여론조사를 할 때 1000명 내지는 1200명 또는 1600명 조사를 대부분 시행한다.
심지어 800명 표본의 전국 단위 조사를 수행하는 경우도 있다.
지역 단위의 조사라면 더 적은 인원으로도 충분하다.
국회의원 지역구, 또는 지방자치단체에 한정된 조사에서는 500명이나 800명 정도 표본의 조사도 얼마든지 진행한다.
반은 맞다는 것에 대해 설명하자면, 표본 추출 작업, 가중치 부가 작업이 잘 되었다는 전제 하에라는 말은 결국, 이 작업을 제대로 하지 못하면 신뢰할 수 없는 결과가 나온다는 뜻이다.
국의 간을 본다는 것을 비유해서 여론조사를 설명하지만, 변수가 맛밖에 안 되고, 균질 혼합물이 되기 쉬운 국과 달리, 사람은 전국 단위까지 가면 성별, 연령대, 지역, 직업, 경제력 등의 다변수로 구성되어있기 때문에 국처럼 잘 섞어준다는 게 매우 어렵다.
그렇기 때문에 1,000명 표본을 가지고 아무리 여론조사를 잘해도 표본 수가 압도적으로 많은 출구 조사에 비해서는 정확도가 떨어질 수밖에 없다.
먼저 반은 틀렸다는 쪽에 대해 설명하자면, 통계와 확률에 대한 이해 부족에서 비롯된다.
1000명 이상의 여론조사는 보통의 여론조사에서 매우 많은 조사인원이다.
그 이유는 보통 표본 추출 작업, 가중치 부가 작업이 잘 되었다는 전제하에 1000명 정도면 모집단의 수와 무관하게 충분히 의미 있는 결과를 내고도 남기 때문이다.
여론조사 전문가들은 "국을 끓일 때 모든 국물을 다 마셔보지 않아도, 한 숟가락만 먹어 보면 국의 간을 알 수 있다.
다만 국이 잘 섞여있어야 한다"는 비유를 들어 설명한다.
여론조사의 표본 구성이 충분히 무작위로 잘 되었고, 조사의 과정이 정상적으로 잘 이뤄지기만 했다면, 표본 1000명 정도는 조사 결과 도출에 충분하다는 것이다.
일례로 인구가 3억 명이 넘는 미국에서도 정치&선거 여론조사를 할 때 1000명 내지는 1200명 또는 1600명 조사를 대부분 시행한다.
심지어 800명 표본의 전국 단위 조사를 수행하는 경우도 있다.
지역 단위의 조사라면 더 적은 인원으로도 충분하다.
국회의원 지역구, 또는 지방자치단체에 한정된 조사에서는 500명이나 800명 정도 표본의 조사도 얼마든지 진행한다.
반은 맞다는 것에 대해 설명하자면, 표본 추출 작업, 가중치 부가 작업이 잘 되었다는 전제 하에라는 말은 결국, 이 작업을 제대로 하지 못하면 신뢰할 수 없는 결과가 나온다는 뜻이다.
국의 간을 본다는 것을 비유해서 여론조사를 설명하지만, 변수가 맛밖에 안 되고, 균질 혼합물이 되기 쉬운 국과 달리, 사람은 전국 단위까지 가면 성별, 연령대, 지역, 직업, 경제력 등의 다변수로 구성되어있기 때문에 국처럼 잘 섞어준다는 게 매우 어렵다.
그렇기 때문에 1,000명 표본을 가지고 아무리 여론조사를 잘해도 표본 수가 압도적으로 많은 출구 조사에 비해서는 정확도가 떨어질 수밖에 없다.
3.1.7. 특정 정당의 지지층만이 주로 응답한다? (X)
틀린 말이다.
한국갤럽을 비롯한 여론조사 업체들은 "과거로부터 설문조사에서는 대체로 당선자를 더 많이 응답하는 경향이 있다.
몇 년 전 당선되어 현직에 있을 공직자에 대한 현재의 생각이 반영되기도 하고, 과거 낙선한 후보에게 투표했다는 사실을 밝히고 싶지 않은 경우도 배제할 수 없다.
"라고 반박한다.
일례로 투표 의향 조사에서 '투표 하겠다'는 응답이 80%가 넘게 나와도 실제 투표율은 60% 남짓 나오는 것처럼, 그런 과거 투표에 관한 답변을 근거로 결과를 억지로 보정하면 되려 현재의 여론을 더 왜곡하게 된다는 것이다.
또한 칸타코리아 이양훈 이사는 "현직 대통령을 찍었다고 응답하는 비율이 높은 건, 실제 선거에선 다른 후보를 뽑고도 승리한 쪽을 찍었다고 응답하는 응답자들의 경향이 일부 반영됐을 가능성이 있다"고 지적하기도 했다.
사실 알고 보면 이러한 현상은 진보 정부 시기의 조사나 보수 정부 시기의 조사나 할 것 없이 늘 비슷하게 나타난다.
실제 과거 박근혜 정부 시기에도 전화 여론조사를 하면, 과거 2012년 제18대 대선 때 박근혜 후보에게 투표했다고 응답하는 비율이 실제 당시의 박근혜 후보 득표율보다 반드시 높게 잡히기도 했다.
이런 현상은 한국 뿐 아니라 다른 나라들에서도 1940년대부터 나오던 현상이며, 과거의 선택을 기억해서 응답하는 '회상 조사'에서 나타나는 일반적인 승자 편중 현상이라고 한다.
심지어는 기억의 기준이 되는 과거의 특정한 선거일로부터 멀어질수록 그런 경향이 강해진다는 것이다.
따라서 과거 투표 이력에 관한 응답 내역은 어떠한 조사의 정확성을 판단하기에는 그리 적합한 지표는 아니라고 할 수 있다.
실제로 2018년 제7대 지방선거 당시의 출구조사를 보면, 바로 직전의 전국 선거인 2017년 제19대 대선 당시 문재인 후보에 투표했다고 응답한 비율이 실제 당시의 문재인 후보 득표율보다 더 크게 집계되었음을 확인할 수 있다.
가장 정확하고 직접적인 방식의 대면조사인 출구조사에서 조차 보통의 전화 여론조사와 마찬가지로 '편승 효과'가 발생했던 것이다.
한국갤럽을 비롯한 여론조사 업체들은 "과거로부터 설문조사에서는 대체로 당선자를 더 많이 응답하는 경향이 있다.
몇 년 전 당선되어 현직에 있을 공직자에 대한 현재의 생각이 반영되기도 하고, 과거 낙선한 후보에게 투표했다는 사실을 밝히고 싶지 않은 경우도 배제할 수 없다.
"라고 반박한다.
일례로 투표 의향 조사에서 '투표 하겠다'는 응답이 80%가 넘게 나와도 실제 투표율은 60% 남짓 나오는 것처럼, 그런 과거 투표에 관한 답변을 근거로 결과를 억지로 보정하면 되려 현재의 여론을 더 왜곡하게 된다는 것이다.
또한 칸타코리아 이양훈 이사는 "현직 대통령을 찍었다고 응답하는 비율이 높은 건, 실제 선거에선 다른 후보를 뽑고도 승리한 쪽을 찍었다고 응답하는 응답자들의 경향이 일부 반영됐을 가능성이 있다"고 지적하기도 했다.
사실 알고 보면 이러한 현상은 진보 정부 시기의 조사나 보수 정부 시기의 조사나 할 것 없이 늘 비슷하게 나타난다.
실제 과거 박근혜 정부 시기에도 전화 여론조사를 하면, 과거 2012년 제18대 대선 때 박근혜 후보에게 투표했다고 응답하는 비율이 실제 당시의 박근혜 후보 득표율보다 반드시 높게 잡히기도 했다.
이런 현상은 한국 뿐 아니라 다른 나라들에서도 1940년대부터 나오던 현상이며, 과거의 선택을 기억해서 응답하는 '회상 조사'에서 나타나는 일반적인 승자 편중 현상이라고 한다.
심지어는 기억의 기준이 되는 과거의 특정한 선거일로부터 멀어질수록 그런 경향이 강해진다는 것이다.
따라서 과거 투표 이력에 관한 응답 내역은 어떠한 조사의 정확성을 판단하기에는 그리 적합한 지표는 아니라고 할 수 있다.
실제로 2018년 제7대 지방선거 당시의 출구조사를 보면, 바로 직전의 전국 선거인 2017년 제19대 대선 당시 문재인 후보에 투표했다고 응답한 비율이 실제 당시의 문재인 후보 득표율보다 더 크게 집계되었음을 확인할 수 있다.
가장 정확하고 직접적인 방식의 대면조사인 출구조사에서 조차 보통의 전화 여론조사와 마찬가지로 '편승 효과'가 발생했던 것이다.
3.2. 여론조사 표본 편의 및 불법 여론조사
이전부터 논란이 되던 사안인데 2018년 9월 12일 노컷뉴스의 보도로 공론화되고야 말았다.
마침 기자한테 여론조사 전화가 왔는데 조사원이 횡설수설하다가 일방적으로 전화를 끊어버린 것이다.
그리고 해당 여론조사 업체는 정식으로 등록된 대한민국의 여론조사 업체가 아니었다.
사실상 불법 여론조사인 것.다.
마침 기자한테 여론조사 전화가 왔는데 조사원이 횡설수설하다가 일방적으로 전화를 끊어버린 것이다.
그리고 해당 여론조사 업체는 정식으로 등록된 대한민국의 여론조사 업체가 아니었다.
사실상 불법 여론조사인 것.다.
3.3. 주의할 점
여론조사 결과를 보면 흔히 마지막에 "신뢰 수준 95%에 오차범위 ± a%p"라 나오는데 두 응답의 격차가 'a'의 2배가 아닌 이상 뒤집어질 가능성이 어느정도는 존재한다고 봐야 한다.
예를 들어 A 지방에서 대통령 B에 대한 호불호를, 신뢰도 95%에 오차범위 ±3.1%p로 조사했다고 가정하자. 만약 조사 결과가 '잘했다 42% vs 못했다 40%'라면 어느 쪽이 앞선다고 말할 수 없다.
왜냐하면 격차가 2%p로 오차범위의 2배(3.1%p*2=6.2%p)보다 작기 때문이다.
위 조사 결과를 정확하게 표현하면 '잘했다 42%(±3.1%p) vs 못했다 40%(±3.1%p)'이기 때문에, 극단적인 경우 '잘했다 38.9% vs 못했다 43.1%'가 모집단의 여론일 수도 있다.
만약 '잘했다 55% vs 못했다 35%' 이렇게 나왔다면 잘했다고 생각하는 사람이 못했다고 생각하는 사람보다 많다고 말해도 된다.
왜냐하면 두 응답의 격차는 20%p로 오차범위의 2배(3.1*2=6.2)보다 크기 때문이다.
더 나아가 같은 기관으로 같은 방법으로 조사한 두 조사 결과를 비교할 때도 주의가 필요하다.
서로 다른 방법으로 조사하면 당연히 비교할 수조차 없다.
이 경우 둘 다 같은 오차범위 ±a%p일 때 결과의 차이가 a의 1.4배 이상이어야 의미가 있다.
절대로 a만큼 차이나면 되는 게 아니다.
여론조사를 실시하는 곳은 생각보다 많다.
특히 선거철이 되면 네임드 여론조사 기관 외에도 온갖 잡다한 언론, 조사 기관들이 여론조사를 실시하고 이를 공표한다.
그리고 이 경우 조사기법의 차이나 여론조사 기관 자체의 한계, 부동층 등의 영향으로 선거 막판이 아닌 이상 각 기관들의 결과치가 들쭉날쭉 할 수 밖에 없다.
그러므로 여러 기관들의 조사 결과 하나하나에 의미를 과도하게 부여하는 것은 적절치 못하다.
각 기관들의 결과 변화 추이를 위주로 추세를 살피는 것이 여론조사를 잘 읽는 방법 중 하나라고 볼 수 있겠다.
예를 들어 A 지방에서 대통령 B에 대한 호불호를, 신뢰도 95%에 오차범위 ±3.1%p로 조사했다고 가정하자. 만약 조사 결과가 '잘했다 42% vs 못했다 40%'라면 어느 쪽이 앞선다고 말할 수 없다.
왜냐하면 격차가 2%p로 오차범위의 2배(3.1%p*2=6.2%p)보다 작기 때문이다.
위 조사 결과를 정확하게 표현하면 '잘했다 42%(±3.1%p) vs 못했다 40%(±3.1%p)'이기 때문에, 극단적인 경우 '잘했다 38.9% vs 못했다 43.1%'가 모집단의 여론일 수도 있다.
만약 '잘했다 55% vs 못했다 35%' 이렇게 나왔다면 잘했다고 생각하는 사람이 못했다고 생각하는 사람보다 많다고 말해도 된다.
왜냐하면 두 응답의 격차는 20%p로 오차범위의 2배(3.1*2=6.2)보다 크기 때문이다.
더 나아가 같은 기관으로 같은 방법으로 조사한 두 조사 결과를 비교할 때도 주의가 필요하다.
서로 다른 방법으로 조사하면 당연히 비교할 수조차 없다.
이 경우 둘 다 같은 오차범위 ±a%p일 때 결과의 차이가 a의 1.4배 이상이어야 의미가 있다.
절대로 a만큼 차이나면 되는 게 아니다.
여론조사를 실시하는 곳은 생각보다 많다.
특히 선거철이 되면 네임드 여론조사 기관 외에도 온갖 잡다한 언론, 조사 기관들이 여론조사를 실시하고 이를 공표한다.
그리고 이 경우 조사기법의 차이나 여론조사 기관 자체의 한계, 부동층 등의 영향으로 선거 막판이 아닌 이상 각 기관들의 결과치가 들쭉날쭉 할 수 밖에 없다.
그러므로 여러 기관들의 조사 결과 하나하나에 의미를 과도하게 부여하는 것은 적절치 못하다.
각 기관들의 결과 변화 추이를 위주로 추세를 살피는 것이 여론조사를 잘 읽는 방법 중 하나라고 볼 수 있겠다.
4. 여론조사 회사는 무엇으로 돈을 버는가?
일반 사람들이 접하는 여론조사는 대부분 정치나 선거 관련 여론조사 정도인지라, 언론에 발표되는 대통령 국정 수행 지지도나 정당 지지도, 혹은 선거 때의 후보 지지도 조사 정도로 돈을 번다고 생각할 수도 있다.
물론 선거 시즌이 여론조사 회사들의 대목인 것도 맞다.
그러나 여론조사 회사들의 주 수입원은 정치나 선거 조사가 아니다.
여론조사 업계 매출 기준으로 보면, 정치 관련 여론조사는 전체 매출의 20% 남짓 수준에 불과하다.
여론조사 회사들은 중앙 정부나 지방 정부, 공공기관 등에서 발주하는 정책 관련 의식 조사, 정치인 개인이 의뢰하는 정책 관련 조사, 공기업이나 각종 일반 기업들의 시장 조사, 다양한 형태의 소비자 조사 등을 수주받아 수행하면서 더 큰 매출을 올린다.
또한 언론 매체 관련 인식 조사, 라디오 청취율 조사, 신문이나 방송의 열독률 조사 등의 미디어 관련 조사들도 주요한 수입원이다.
일례로 정책 관련 조사들은 면접 조사가 기본이고, 표본의 규모도 3000에서 5000 정도를 넘나드는 경우가 많은지라 기본적인 비용이 많이 든다.
특히 패널 면접 조사나 포커스 그룹 심층 인터뷰 같은 대면조사의 경우에 특히 단가가 높다.
보통 여론조사 업체가 받는 여론조사의 비용은 대면 조사의 경우에는 1명당 3만원 이상, 전화면접 조사의 경우에는 1만원 이상, ARS 조사의 경우에는 3000원 이상으로 알려져 있다.
물론 이 단가는 여론조사 업체가 외부에 청구하는 가격이고, 여론조사 업체가 자체 조사를 수행할 경우의 원가는 더 낮다.
그리고 특정 언론사, 또는 기관와 일정 기간 동안의 지속적인 여론조사 계약을 맺은 경우는 의뢰자와의 협상에 따라 전체적인 단가가 많이 낮아지기도 한다.
이런 가격 협상도 의뢰자나 회사의 규모에 따라서도 천차만별인데, 매출 규모가 작은 인터넷 언론사 또는 소규모 지방 언론사의 의뢰로 수행되는 ARS 선거 여론조사의 경우에는 대부분 회당 몇 십 만원 수준의 덤핑 가격에 수행된다고 알려져 있다.
다시 말해 정치나 선거 관련 여론조사보다는 언론에 소개되지 않는 다른 여러 조사의 경우 매출 기여도가 훨씬 더 크다.
참고로 여론조사 업체들이 매주, 혹은 매달 정기적으로 발표하는 정치나 선거 관련 여론조사는 회사의 신뢰도나 인지도를 높이기 위해 수행되는 측면이 많다.
선거와 관련 없는 조사들로 매출을 올리는 경우는 그나마 공신력 있고 규모도 있는 업체들의 사정이고, 그 밖에 대부분의 영세한 여론조사 업체들의 경우에는 국회의원 선거나 지방선거처럼 선거에 나서는 후보들이 전국적으로 쏟아지는 시즌에 잠깐 여론조사로 매출을 한 몫 챙긴 후에 선거가 없는 시즌을 견딘다.
이를테면, 평소의 기사 보다 여론조사 관련 기사가 많은 일부 신문사도 이에 해당된다(...) 일부 회사들의 경우엔 선거 컨설팅을 결합해서 돈을 버는 경우도 드물지만 있다.
물론 정치 컨설팅을 전문으로 수행하는 업체에서도 자체적으로 선거 여론조사를 수행하곤 하지만, 여기는 어디까지나 컨설팅 작업에 포함되는 부가서비스 경우인 반면, 여론조사 전문 업체에서 선거 시즌 때 반짝 정치 컨설팅을 표방하는 경우에는 그야말로 선거 대목 맞이 매출 땡기기인 경우이다.
물론 선거 시즌이 여론조사 회사들의 대목인 것도 맞다.
그러나 여론조사 회사들의 주 수입원은 정치나 선거 조사가 아니다.
여론조사 업계 매출 기준으로 보면, 정치 관련 여론조사는 전체 매출의 20% 남짓 수준에 불과하다.
여론조사 회사들은 중앙 정부나 지방 정부, 공공기관 등에서 발주하는 정책 관련 의식 조사, 정치인 개인이 의뢰하는 정책 관련 조사, 공기업이나 각종 일반 기업들의 시장 조사, 다양한 형태의 소비자 조사 등을 수주받아 수행하면서 더 큰 매출을 올린다.
또한 언론 매체 관련 인식 조사, 라디오 청취율 조사, 신문이나 방송의 열독률 조사 등의 미디어 관련 조사들도 주요한 수입원이다.
일례로 정책 관련 조사들은 면접 조사가 기본이고, 표본의 규모도 3000에서 5000 정도를 넘나드는 경우가 많은지라 기본적인 비용이 많이 든다.
특히 패널 면접 조사나 포커스 그룹 심층 인터뷰 같은 대면조사의 경우에 특히 단가가 높다.
보통 여론조사 업체가 받는 여론조사의 비용은 대면 조사의 경우에는 1명당 3만원 이상, 전화면접 조사의 경우에는 1만원 이상, ARS 조사의 경우에는 3000원 이상으로 알려져 있다.
물론 이 단가는 여론조사 업체가 외부에 청구하는 가격이고, 여론조사 업체가 자체 조사를 수행할 경우의 원가는 더 낮다.
그리고 특정 언론사, 또는 기관와 일정 기간 동안의 지속적인 여론조사 계약을 맺은 경우는 의뢰자와의 협상에 따라 전체적인 단가가 많이 낮아지기도 한다.
이런 가격 협상도 의뢰자나 회사의 규모에 따라서도 천차만별인데, 매출 규모가 작은 인터넷 언론사 또는 소규모 지방 언론사의 의뢰로 수행되는 ARS 선거 여론조사의 경우에는 대부분 회당 몇 십 만원 수준의 덤핑 가격에 수행된다고 알려져 있다.
다시 말해 정치나 선거 관련 여론조사보다는 언론에 소개되지 않는 다른 여러 조사의 경우 매출 기여도가 훨씬 더 크다.
참고로 여론조사 업체들이 매주, 혹은 매달 정기적으로 발표하는 정치나 선거 관련 여론조사는 회사의 신뢰도나 인지도를 높이기 위해 수행되는 측면이 많다.
선거와 관련 없는 조사들로 매출을 올리는 경우는 그나마 공신력 있고 규모도 있는 업체들의 사정이고, 그 밖에 대부분의 영세한 여론조사 업체들의 경우에는 국회의원 선거나 지방선거처럼 선거에 나서는 후보들이 전국적으로 쏟아지는 시즌에 잠깐 여론조사로 매출을 한 몫 챙긴 후에 선거가 없는 시즌을 견딘다.
이를테면, 평소의 기사 보다 여론조사 관련 기사가 많은 일부 신문사도 이에 해당된다(...) 일부 회사들의 경우엔 선거 컨설팅을 결합해서 돈을 버는 경우도 드물지만 있다.
물론 정치 컨설팅을 전문으로 수행하는 업체에서도 자체적으로 선거 여론조사를 수행하곤 하지만, 여기는 어디까지나 컨설팅 작업에 포함되는 부가서비스 경우인 반면, 여론조사 전문 업체에서 선거 시즌 때 반짝 정치 컨설팅을 표방하는 경우에는 그야말로 선거 대목 맞이 매출 땡기기인 경우이다.
5. 선거 전 여론조사 공표 금지기간은 적당한가?
여러 국가에서 선거 전에 일정 정도의 여론조사 공표 금지기간을 두는 이유는 여론조사의 결과 자체가 선거에 주는 영향력을 제한하기 위해서이다.
다시 말해, 신뢰도를 완전히 검증하기 힘든 여러 여론조사들로 인해 선거 목전에 밴드웨건 효과나 언더독 효과 등이 크게 발생하여 유권자의 투표행위를 교란할 수 있기 때문이다.
세계여론조사협회에 의하면 여론조사 공표 금지기간을 적용하는 국가는 의외로 많다고 한다.
전체 133개국 중에서 60%에 해당하며, 아예 선거전 여론조사를 막은 국가도 5% 정도라고 분석하고 있다.
금지기간의 중간값은 대체적으로 5일 정도라고 한다.
그리고 선거전 여론조사 공표를 규제하지 않는 국가는 33% 정도라고 한다.
2012년에 비해 5년 사이 규제기간이 늘어난 국가는 24개국이고, 줄어든 국가는 14개국이라고 한다.
여기까지만 보면 여론조사 공표기간 규정은 대한민국이 중간값에 비해 조금 긴 편이라서 별 문제가 없어 보인다.
자유민주주의 체제의 선진국 중에서는 대한민국이 상대적으로 긴 편에 속한다고 한다.
금지기간이 없는 국가는 미국, 영국, 독일, 일본, 스웨덴, 벨기에, 덴마크, 핀란드, 네덜란드, 아일랜드, 오스트리아, 호주, 뉴질랜드 등이다.
주요 국가들의 공표 금지기간을 보면 이탈리아는 2주, 스페인, 이스라엘은 5일, 프랑스는 2일 정도이다.
노르웨이나 캐나다는 선거 당일만 금지한다.
프랑스의 경우 1996년까지 대한민국과 동일한 1주였다가 정보화 시대의 달라진 언론 환경을 계기로 이틀로 줄였다고 한다.
한 때는 아예 없앴던 적도 있었는데 다시 이틀로 바뀌었다.
사실 1주에서 줄였던 이유가 이웃 국가인 스위스 여론조사기관에서 프랑스의 여론조사 결과를 사들여서 공표해버렸기 때문이어서라고. 캐나다는 3일이였으나, 93년 캐나다 대법원에서 가장 중요한 시기에 국민의 알 권리를 침해한다며 위헌을 때렸고, 이후 선거법 개정을 통해 당일만 금지하는 걸로 다시 바뀌었다고 한다.
한편 우리나라에서도 선거 전 여론조사 공표 금지기간을 줄이거나, 아니면 아예 없애자는 의견도 꾸준히 나오고 있다.
여론조사 공표금지기간은 투표일 포함 7일, 일수로 6일이다.
이미 여론조사가 아니라도 이런 저런 정치 관련 정보가 많은 세상이고, 이미 통신의 발달로 인해서 여론조사 공표 금지의 의미가 그리 크지 않으며, 사전투표가 폭넓게 정착된 마당에 굳이 본 투표일 기준으로 여론조사 공표 금지기간을 길게 둘 이유가 없다는 이유에서다.
또한 야당 또는 여당에게 유리한 여론조사가 선거공표금지 기간 직전에 쏟아져 나오는 경우도 왕왕 있으므로, 여야 지지층 모두 이러한 규정에 불만을 가지고 있는 점도 존재한다.
다시 말해, 신뢰도를 완전히 검증하기 힘든 여러 여론조사들로 인해 선거 목전에 밴드웨건 효과나 언더독 효과 등이 크게 발생하여 유권자의 투표행위를 교란할 수 있기 때문이다.
세계여론조사협회에 의하면 여론조사 공표 금지기간을 적용하는 국가는 의외로 많다고 한다.
전체 133개국 중에서 60%에 해당하며, 아예 선거전 여론조사를 막은 국가도 5% 정도라고 분석하고 있다.
금지기간의 중간값은 대체적으로 5일 정도라고 한다.
그리고 선거전 여론조사 공표를 규제하지 않는 국가는 33% 정도라고 한다.
2012년에 비해 5년 사이 규제기간이 늘어난 국가는 24개국이고, 줄어든 국가는 14개국이라고 한다.
여기까지만 보면 여론조사 공표기간 규정은 대한민국이 중간값에 비해 조금 긴 편이라서 별 문제가 없어 보인다.
자유민주주의 체제의 선진국 중에서는 대한민국이 상대적으로 긴 편에 속한다고 한다.
금지기간이 없는 국가는 미국, 영국, 독일, 일본, 스웨덴, 벨기에, 덴마크, 핀란드, 네덜란드, 아일랜드, 오스트리아, 호주, 뉴질랜드 등이다.
주요 국가들의 공표 금지기간을 보면 이탈리아는 2주, 스페인, 이스라엘은 5일, 프랑스는 2일 정도이다.
노르웨이나 캐나다는 선거 당일만 금지한다.
프랑스의 경우 1996년까지 대한민국과 동일한 1주였다가 정보화 시대의 달라진 언론 환경을 계기로 이틀로 줄였다고 한다.
한 때는 아예 없앴던 적도 있었는데 다시 이틀로 바뀌었다.
사실 1주에서 줄였던 이유가 이웃 국가인 스위스 여론조사기관에서 프랑스의 여론조사 결과를 사들여서 공표해버렸기 때문이어서라고. 캐나다는 3일이였으나, 93년 캐나다 대법원에서 가장 중요한 시기에 국민의 알 권리를 침해한다며 위헌을 때렸고, 이후 선거법 개정을 통해 당일만 금지하는 걸로 다시 바뀌었다고 한다.
한편 우리나라에서도 선거 전 여론조사 공표 금지기간을 줄이거나, 아니면 아예 없애자는 의견도 꾸준히 나오고 있다.
여론조사 공표금지기간은 투표일 포함 7일, 일수로 6일이다.
이미 여론조사가 아니라도 이런 저런 정치 관련 정보가 많은 세상이고, 이미 통신의 발달로 인해서 여론조사 공표 금지의 의미가 그리 크지 않으며, 사전투표가 폭넓게 정착된 마당에 굳이 본 투표일 기준으로 여론조사 공표 금지기간을 길게 둘 이유가 없다는 이유에서다.
또한 야당 또는 여당에게 유리한 여론조사가 선거공표금지 기간 직전에 쏟아져 나오는 경우도 왕왕 있으므로, 여야 지지층 모두 이러한 규정에 불만을 가지고 있는 점도 존재한다.
6. 선거여론조사심의위원회
제8조의8(선거여론조사심의위원회) ① 중앙선거관리위원회와 시·도선거관리위원회는 선거에 관한 여론조사의 객관성·신뢰성을 확보하기 위하여 선거여론조사심의위원회를 각각 설치·운영하여야 한다.
―공직선거법여론조사 중 정치적인 이슈를 다루는 것은 조사 의뢰자나 조사 설계, 설문 항목의 내용 등에 따라 결과가 크게 달라지는 경향이 있다.
신뢰도가 낮은 여론조사들이 언론에 무분별하게 공표되었을 경우에는 오히려 여론이나 선거 구도에 악영향을 끼치게 될 수도 있으므로, 일정한 규제를 통해 선거 관련 여론조사를 관리하도록 하게 되었다.
이에 공직선거법 제8조의 8에 따라, 중앙선거관리위원회와 시·도선거관리위원회 산하에 독립기구인 선거여론조사심의위원회를 두어 선거여론조사기준을 공표함과 더불어 그 결과를 중앙선거여론조사심의위원회 홈페이지에 등록하도록 하고 있다.
줄여서 '여심위'라고도 한다.
선거 관련 여론조사를 여심위 홈페이지에 등록하기 위해서는 선거여론조사의 명칭, 조사의뢰자, 선거여론조사기관, 조사지역, 조사일시, 조사대상, 조사방법, 표본의 크기, 피조사자 선정방법(휴대전화 가상번호 사용 시 그 사실 및 사용비율 포함), 피조사자 접촉 현황(비적격 사례수는 결번과 그 외의 비적격 사례로 구분하여 등록), 접촉률, 응답률, 가중값 산출 및 적용 방법, 표본오차, 전체 질문지, 결과분석(지지도 결과는 모두 등록), 최초 공표 및 보도 예정일시의 요건을 빠짐 없이 기입해야 하며, 조사 설문지의 원본과 통계 처리 결과 및 세부 내역을 모두 제출하여 공개해야 한다.
따라서 적어도 이곳에 등록되어 언론에 공표되는 여론조사들은 그나마 최소한의 기준에 맞추어서 선거 관련 여론조사를 수행하였다는 뜻이다.
한편 기본적인 요건을 갖추지 않았거나, 편향된 설문지를 활용한 것으로 드러났을 경우에는 선관위에서 해당 여론조사의 언론 공표를 금지하거나, 해당 업체에 과태료를 부과하는 등의 행정 처분을 하기도 한다.
참고로 표본 추출 작업, 가중치 부가 작업을 어떻게 했는지의 자료도 첨부하고 있으므로 선관위 여심위 홈페이지에서 확인할 수 있다.
위의 설명과 같이 기본적인 여론조사의 설계 요소들은 당연히 나와있고, 여론조사의 질문 내용과 구성 등 언론 보도에는 자세히 설명되지 않는 상세한 자료들도 공개되어 있다.
선거여론조사심의위원회에 등록하지 않고도 정치 관련 여론조사를 수행하여 언론에 발표할 수는 있다.
이런 경우는 정당이나 정당 소속 후보의 지지도를 조사하지 않고, 대통령 국정 수행 지지도나 몇몇 특정 이슈만 조사하여 발표하는 경우이다.
'알앤써치'가 이런 식으로 선관위에 등록하지 않은 채로 매주 정례조사를 수행한다.
당연히 이런 조사들은 위에서 언급된 여론조사의 기본 요건들에 대한 최소한의 신뢰성을 담보하기 힘든 경우라고 볼 수 있다.
그러나 2020년 10월부터 이런 비판을 의식하여 데일리안-알앤써치 여론조사도 중앙선거관리위원회 산하 중앙선거여론조사심의위원회에 1개월에 한 번씩 결과를 등록하고 있다.
중앙여론조사심의위원회에 여론조사 결과를 등록하기 위해서는 정당지지율을 조사해야 하는데, 데일리안은 정당지지율을 1개월에 한 번만 시행하기 때문에 정당지지율 조사하지 않는 주차는 등록여론조사를 할 수 없다고 항변하였다.
다.
―공직선거법여론조사 중 정치적인 이슈를 다루는 것은 조사 의뢰자나 조사 설계, 설문 항목의 내용 등에 따라 결과가 크게 달라지는 경향이 있다.
신뢰도가 낮은 여론조사들이 언론에 무분별하게 공표되었을 경우에는 오히려 여론이나 선거 구도에 악영향을 끼치게 될 수도 있으므로, 일정한 규제를 통해 선거 관련 여론조사를 관리하도록 하게 되었다.
이에 공직선거법 제8조의 8에 따라, 중앙선거관리위원회와 시·도선거관리위원회 산하에 독립기구인 선거여론조사심의위원회를 두어 선거여론조사기준을 공표함과 더불어 그 결과를 중앙선거여론조사심의위원회 홈페이지에 등록하도록 하고 있다.
줄여서 '여심위'라고도 한다.
선거 관련 여론조사를 여심위 홈페이지에 등록하기 위해서는 선거여론조사의 명칭, 조사의뢰자, 선거여론조사기관, 조사지역, 조사일시, 조사대상, 조사방법, 표본의 크기, 피조사자 선정방법(휴대전화 가상번호 사용 시 그 사실 및 사용비율 포함), 피조사자 접촉 현황(비적격 사례수는 결번과 그 외의 비적격 사례로 구분하여 등록), 접촉률, 응답률, 가중값 산출 및 적용 방법, 표본오차, 전체 질문지, 결과분석(지지도 결과는 모두 등록), 최초 공표 및 보도 예정일시의 요건을 빠짐 없이 기입해야 하며, 조사 설문지의 원본과 통계 처리 결과 및 세부 내역을 모두 제출하여 공개해야 한다.
따라서 적어도 이곳에 등록되어 언론에 공표되는 여론조사들은 그나마 최소한의 기준에 맞추어서 선거 관련 여론조사를 수행하였다는 뜻이다.
한편 기본적인 요건을 갖추지 않았거나, 편향된 설문지를 활용한 것으로 드러났을 경우에는 선관위에서 해당 여론조사의 언론 공표를 금지하거나, 해당 업체에 과태료를 부과하는 등의 행정 처분을 하기도 한다.
참고로 표본 추출 작업, 가중치 부가 작업을 어떻게 했는지의 자료도 첨부하고 있으므로 선관위 여심위 홈페이지에서 확인할 수 있다.
위의 설명과 같이 기본적인 여론조사의 설계 요소들은 당연히 나와있고, 여론조사의 질문 내용과 구성 등 언론 보도에는 자세히 설명되지 않는 상세한 자료들도 공개되어 있다.
선거여론조사심의위원회에 등록하지 않고도 정치 관련 여론조사를 수행하여 언론에 발표할 수는 있다.
이런 경우는 정당이나 정당 소속 후보의 지지도를 조사하지 않고, 대통령 국정 수행 지지도나 몇몇 특정 이슈만 조사하여 발표하는 경우이다.
'알앤써치'가 이런 식으로 선관위에 등록하지 않은 채로 매주 정례조사를 수행한다.
당연히 이런 조사들은 위에서 언급된 여론조사의 기본 요건들에 대한 최소한의 신뢰성을 담보하기 힘든 경우라고 볼 수 있다.
그러나 2020년 10월부터 이런 비판을 의식하여 데일리안-알앤써치 여론조사도 중앙선거관리위원회 산하 중앙선거여론조사심의위원회에 1개월에 한 번씩 결과를 등록하고 있다.
중앙여론조사심의위원회에 여론조사 결과를 등록하기 위해서는 정당지지율을 조사해야 하는데, 데일리안은 정당지지율을 1개월에 한 번만 시행하기 때문에 정당지지율 조사하지 않는 주차는 등록여론조사를 할 수 없다고 항변하였다.
다.
6.1. 선거여론조사의 공표와 보도
|
선거여론조사기준
|
|
|
최초 공표 · 보도
|
① 조사의뢰자, ② 선거여론조사기관, ③ 조사지역, ④ 조사일시,⑤ 조사대상, ⑥ 조사방법, ⑦ 표본의 크기, ⑧ 피조사자 선정방법(휴대전화 가상번호 사용 시 그 사실 및 사용비율 포함), ⑨ 응답률, ⑩ 가중값 산출 및 적용 방법(DB, 패널 등 특정 표본추출틀 사용 시 전체 규모와 구축방법 포함), ⑪ 표본오차, ⑫ 질문내용
|
7. 여론조사업체 (가나다순)
|
대한민국의 여론조사기관
|
- 글로벌리서치
- 넥스트리서치
- 리서치뷰
- 리서치앤리서치
- 리얼미터
- 메트릭스 코퍼레이션
- 미디어리서치
- 알앤써치
- 엠브레인퍼블릭
- 여론조사공정
- 윈지코리아컨설팅
- 입소스
- 조원씨앤아이
- 칸타코리아
- 케이스탯리서치
- 코리아리서치인터네셔널
- 피플네트웍스(PNR)
- 한국갤럽
- 한국리서치
- 한국사회여론연구소(KSOI)
- 한길리서치
내용이 도움이 되셨으면 공감 버튼 꼬옥 눌러주세요 ♥
반응형
댓글