기후위기시계
실시간 뉴스
  • “ARS는 비과학적일까”…조사기관들 카르텔 논란[여론조사를 조사하다]

[헤럴드경제=기획취재팀] “한국조사협회의 회원사는 ARS를 이용한 조사가 과학적인 조사방법이 아니라는 점에 동의하고 향후 ARS 조사를 수행하지 않을 것을 결의한다.”(한국조사협회 ‘ARS조사 관련 KORA 회원사 행동규범’ 제 1조)

국내 여론조사 시장은 크게 두가지 카르텔(담합) 집단으로 나누어 설명할 수 있다. ‘자동응답시스템(ARS)을 사용을 비과학적이라고 주장하는 집단’과 ‘그렇지 않다고 말하는 집단’. ARS를 비과학적이라고 말하는 대표적인 집단이 ‘한국조사협회(KORA)’이다. 이들은 협회 회원사들을 대상으로 ‘ARS 행동규범’을 자체적으로 만들어, ARS를 사용한 기관에게 제명 요구까지 가능하도록 해놨다. 이 협회에는 칸타코리아, 한국갤럽조사연구소, 한국리서치, 닐슨컴퍼니코리아, 리서치앤리서치, 마켓링크, 메트릭스리서치, 엠브레인 퍼블릭, 입소스, 케이스탯리서치, 케이에스오아이(한국사회여론연구소) 등이 회원사로 가입돼 있다.

이들과 다르게 ARS에 대해 관대한 곳이 한국정치조사협회(KOPRA)이다. 이곳은 리얼미터, 조원씨앤아이, 모노리서치, 타임리서치, 한길리서치, 우리리서치 등이 회원사로 가입돼 있다.

업계 한 관계자는 “ARS를 옹호하는 여론조사 기관들이 생기자, 이에 대해 반기를 들고 다른 방식의 세력화를 한 이들이 뭉친 구조"라며 “ARS를 통해 여론조사 매출 규모가 작아지는 일이 없도록 만드려는 이들과, ARS를 통해 어떻게든 이 시장에서 수익을 내려는 이들간의 다툼이라고 본다”고 지적했다.

[그래픽 디자인 권해원]

ARS를 반대하는 논리는?

한국조사협회 회원사인 케이스탯리서치의 박승열 대표는 “여론조사 응답률은 계속 하락하고 있고, 신뢰도에 수많은 의문이 제기된다”며 “ARS 조사는 응답자가 성·연령을 거짓으로 눌러도 확인이 불가능하고, 자발적 참여자 위주로 조사가 진행돼 응답률이 형편없이 낮아 표본의 대표성 문제와 결과의 편향성을 초래한다”고 지난해 말 모 언론사에 기고한 바 있다. 이런 주장을 하는 이들은 ARS가 성우가 녹음해서 묻는 방식이라 응답자들이 끝까지 듣지도 않고 끊어버리는 점, 특정후보 지지자들이 의도를 갖고 대답하는 게 더 심하게 부각될 수 있다는 점 등이 문제라고 설명한다.

물론 이 논리에 반대하는 이들도 있다. ARS가 한계가 있지만, 비과학적이라고 주장하는 것은 성급하단 설명이다. 익명을 요구한 한 여론조사 업체 임원은 “ARS를 과도하게 깎아내려선 안 된다”고 했다.

해외 석학들 “ARS를 비과학적이라 볼 순 없다”

헤럴드경제는 ARS에 대한 객관적인 입장을 듣고자 했으나, 국내 학자들은 이에 대한 공개적인 입장 표명을 꺼려했다. 이에 미국 여론 조사 협회(APPOR)에서 ‘평생공로상’을 받은 여론조사 학계 석학들에게 ARS를 어떻게 바라봐야 하는지 문의했다.

결론부터 말하면, 이들 모두 ARS 자체가 비과학적이란 입장은 아니었다. 한국의 특수성을 잘 모른다는 점을 전제로 하면서, ARS 방법론에 대한 각자의 의견을 제시했다.

2008년 미국여론조사협회로부터 ‘평생 공로상’을 받은 캐슬린 프랑코비치(Kathleen A. Frankovic)는 이메일 인터뷰를 통해 “ARS(IVR)에는 문제가 있을 수 있지만, 모든 종류의 연구에 이런 특성이 있다.”며 “ARS는 동일한 선택 규칙을 따를 수 있고, 잘 설계된 질문을 할 수 있다는 특징도 있다. ARS를 옹호하는 사람들은, 이 방식이 오히려 사람에게 답하는 것이 아니기 때문에 민감하거나 난처한 질문에 대해 솔직한 대답을 얻는 방식이라고 평가한다”고 설명했다.

[그래픽 디자인 권해원]

2016년 미국여론조사협회로부터 ‘평생 공로상’을 받은 스콧 키터(Scott Keeter) 퓨리서치센터 선임조사 고문은 이메일 인터뷰를 통해 “ARS(미국에서는 대화식음성응답('IVR')이라고 부르는 방식의 일종)는 질문할 수 있는 질문 수가 제한되고 응답자가 실제로 설문조사에 적합한지 검증할 수 없다는 점에서 많은 한계가 있다”고 말하면서도 ARS의 긍정적인 면도 지적했다. 그는 “ARS 여론조사는 선거를 예측하는 데 있어서 일반적으로 좋은 성과를 보여주고 있다(ARS polls have had a generally good performance record in forecasting elections)”고 했다. 또 “미국에서 ARS를 사용하는 많은 여론조사 기관들은, 실시간으로 면접관과 한 인터뷰나 온라인 투표를 통해 유선 조사를 보완한다”고 말했다.

한편 미국은 ARS를 유선전화 여론조사시에만 사용가능하도록 법으로 규정하고 있다. 무선전화에서 ARS 조사 방식을 쓰는 데 기술적인 어려움이 있어서다. 스콧 키터(Scott Keeter) 퓨리서치센터 선임조사 고문은 "ARS를 이용하는 방법은 유선조사에서만 허용되기 때문에, (유선과 무선 사용자를 포함한) 전체 모집단 범위 자료를 제공해야 하는 퓨리서치센터 작업에 적합하지 않은 면이 있다"며 퓨리서치센터의 경우 최근에는 (전화조사보다) 온라인 설문조사를 선호하고 있다"고 밝혔다.

캐슬린 프랑코비치(Kathleen A. Frankovic)와 스콧 키터(Scott Keeter)는 누구?

캐슬린 프랑코비치(Kathleen A. Frankovic)는 2008년 미국여론조사협회(AAPOR)가 수여하는 '평생 공로상'을 수상했다. 그는 세계 여론조사 협회(World Association for Public Opinion Research)와 미국 여론조사 협회 회장을 역임했다. 지난 1974년 럿거스 대학교에서 정치학 박사학위를 받은 이후 버몬트 대학교에서 정치학을 가르치다 CBS 뉴스에 입사해 여론조사에 대해 컨설팅 했다. 30년간 근무한 CBS 뉴스를 2009년 퇴직했고, 이후에도 CBS 뉴스, 하버드 대학, 오픈 소사이어티 재단 등에서 여론조사에 대해 자문했다.

스콧 키터(Scott Keeter)는 지난 2016년 ‘여론조사 분야에 대한 탁월한 공헌’으로 미국 여론 조사 협회(AAPOR)가 수여하는 '평생공로상'을 받았다. 노스캐롤라이나 대학교에서 정치학 박사학위를 받았고, 미국 여론조사 협회 회장을 역임했다. 그는 조지 메이슨 대학교, 럿거스 대학교 등에서 강의했다. 현재 퓨리서치센터의 선임 조사 고문이다.

raw@heraldcorp.com

*‘여론조사를 조사하다’는 하단 링크를 누르시면, 디지털 기사 형식으로 보실수 있습니다.

맞춤 정보
    당신을 위한 추천 정보
      많이 본 정보
      오늘의 인기정보
        이슈 & 토픽
          비즈 링크