여론조사 - 예비조사 단계에서 점검할 것

여론조사 - 예비조사 단계에서 점검할 것

여론조사 - 예비조사 단계에서 점검할 것

설문지 초안이 완성되고 나면 인쇄에 앞서서 예비조사 프리 테스트를 해보는 것이 꼭 필요합니다. 예비조사는 사전 검사라고 할 수 있겠습니다. 우리가 어떤 중요한 행사를 앞두고 리허설이라고 생각해 보시면 되겠습니다. 리허설을 하면 어떤 것들을 확인하나요? 우리가 예상했던 대로 행사가 진행되는지 예상하던 시간 내에 끝나는지 , 또 행사의 흐름에 별 무리는 없는지 이런 것들을 확인하게 됩니다. 마찬가지로 설문지를 만들었을 때 우리가 생각하지 못했던 설문의 흐름이 적절한지 예상했던 시간 내에 설문을 완성할 수 있는지 응답자들이 제대로 알아먹고 응답을 하는지 이런 것들을 확인하는 것이 바로 예비조사가 하는 일이 되겠습니다. 즉, 예비조사는 본 조사를 하기에 앞서서 조사대상에서 극히 일부분 보통 30명 내외입니다. 한 30명 내외를 선정해서 먼저 조사를 해봄으로써 설문지 내용에 대해서 확인해보고 설문지의 구성, 설문지의 잘못된 점들을 찾아내는 것이 바로 예비조사가 되겠습니다. 설문지 초안을 가지고 본 조사와 똑같은 방법으로 만약 “자기식 설문”이라면 응답자가 스스로 읽고 응답을 할 수 있게 하고 “타기 식 설문”이라면 훈련된 조사원이 조사를 하고 질문을 하고 응답을 받아오고 응답을 적어오는 본 조사와 똑같은 형식으로 시험을 해봄으로써 질문의 내용과 질문의 형태, 문항의 별 순서 등을 점검해 보는 것입니다. 이때 예비조사에서 응답한 응답자는 본 조사에서는 포함돼서는 안 됩니다. 또한 예비조사가 본래의 목적을 잘 달성하기 위해서는 이 조사의 내용이나 목적, 조사항목에 대해서 어느 정도 아는 사람보다는 전혀 모르는 전형적인 응답자가 도움이 됩니다. 왜냐하면 이 질문의 내용이나 항목, 목적에 대해서 어느 정도 아는 응답자는 혹시 질문지에 실수가 있거나, 표현이 애매하게 되어있더라도 어느 정도 예상해서 응답을 할 수 있기 때문에 그런 것들을 확인하기 위해서는 이 질문의 목적이나 내용, 또는 조사항목에 대해서 거의 모르는 전혀 모르는 전형적인 응답자가 예비조사의 대상이 되는 것이 도움이 됩니다.

예비조사에서 점검해야 할 점

예비조사에서 점검해야 될 사항에 대해서 하나하나 살펴보도록 하겠습니다. 일단 예비조사를 통해서 응답자가 무슨 말인지 제대로 알았는지 질문자가 질문하고자 하는 내용에 대해서 응답을 하는지 확인하는 것이 좋겠습니다. 즉, 표현이 명확하게 되었는지 또 조사자는 명확하게 표현을 했다고 생각하지만 응답자가 혼동해서 알아듣는지는 아닌지 확인하는 것이 좋습니다. 예를 들면 어떤 차를 가지고 계십니까?라고 질문을 했다고 해보겠습니다. 조사자는 차의 종류, 즉 경차인지 세단인지, suv인지 이런 것들을 알고 싶었는데 응답자는 자동차가 아니라 마시는 차의 종류를 응답하는 경우도 있습니다. 혹시 본인이 차에 관심이 없거나 아니면 운전을 하지 않는 사람이라면 차라고 했을 때 먼저 떠오르는 것이 마시는 차가 되기도 하기 때문입니다. 따라서 응답자가 똑같은 용어로 알아듣는지 무슨 말인지 제대로 알아듣는지를 확인할 필요가 있습니다. 두 번째로는 응답자가 응답을 쉽게 하는지 대답하기를 꺼려하지는 않는지 확인할 필요가 있습니다. 예를 들어 청소년들에게 하루에 몇 시간이나 인터넷을 사용하느냐라는 질문을 하게 되면 쉽게 응답을 할 것 같지만 의외로 반문이 들어옵니다. 평일과 주말이 다른데 평균을 내야 하느냐? 이렇게 물어보기도 합니다. 그럴 경우에는 평일에는 또 주말에는 이렇게 나뉘어서 묻는 것이 좋기 때문에 응답자가 질문자가 원하는 대로 응답을 쉽게 하는지 아니면 응답을 하기 위해서 뭔가 부수적인 질문이 필요한 지에 대해서 확인할 필요가 있습니다. 또한 모든 응답자가 비슷한 응답, 또는 같은 응답을 하는지 확인해 봐야 됩니다. 우리가 여론조사를 할 때에는 사람들은 다양한 생각을 알고 싶은데 모든 사람이 똑같은 응답을 하게 된다면 그것은 질문으로 좋은 질문이 되지 않기 때문입니다. 그리고 응답자가 충분히 대답을 할 수 있는 내용인지 응답자가 대답을 하기에 어려운 내용은 아닌지 또 응답자가 전혀 모르는데 기계적으로 응답하지는 않는지를 확인해봐야 되겠습니다. 또 질문을 할 때 혹시 순서의 영향을 받지는 않는지 확인해 봐야겠습니다. 질문 순서가 바뀌면 응답이 달라지는지 또는 질문이 서로 영향을 주지는 않는지 확인해 봐야겠습니다. 특히 신뢰도를 확인하는 문항이라면 질문이 만약 서로 영향을 주게 된다면 신뢰도를 확인할 수 없게 됩니다. 실제로 이런 경험이 있었습니다. 사람들이 광주와 전라도를 얼마나 비슷하게 생각하는지 또는 다르게 생각하는지를 알아보고 싶어서 광주 하면 떠오르는 게 무엇인가요? 하는 질문과 전라 도하면 떠오르는 게 무엇인가요?라고 질문을 했습니다. 이때 이 질문을 연달아 질문을 하게 되면 즉, 광주 하면 떠오르는 것이 무엇인가요?라고 먼저 묻고 바로 이어서 전라 도하면 떠오르는 것이 무엇인가요?라고 물을 때는 비슷한 응답을 하게 되는데 만약 광주 하면 떠오르는 것이 무엇인가요?라고 묻고 한참 있다가 다른 질문을 하다가 전라도 하면 떠오르는 것이 무엇인가요?라고 물었을 때는 서로 다른 응답을 하게 되었습니다. 이런 질문이 서로 영향을 주는 것은 없는지 순서의 영향은 없는지에 대해서 확인해봐야 되겠습니다. 응답자가 응답을 하는 과정에서 지루해하거나 집중도가 떨어지지는 않은지를 확인해 봐야겠고, 중요한 질문이 빠지지는 않았는지 또 질문에 오타는 없는지 이런 것들도 확인해 봐야 되겠습니다. 실제로 어떤 연구자는 중요한 질문에서 조사하나를 잘못 쓰는 바람에 응답이 엉뚱하게 나왔고 그 응답을 사용하지 못한 경우가 있었습니다. 그리고 우리가 폐쇄형 질문을 만들 때 , 객관식 질문을 만들 때 보기는 상호 배타적이고 포괄적이어야 한다고 이야기를 했었습니다. 질문지를 작성하는 과정에서 충분히 고민해서 보기를 많이 만들었다고 하더라도 혹시 기타에 너무 많은 응답이 나오거나 응답자들이 보기에서 고르지 못한다거나 보기에 없는 응답을 많이 말을 하는 경우라면 보기가 상호 배타적이고 포괄적인 원칙을 지키지 못한 것이기 때문에 사전조사에서 반구조화된 질문으로 작성을 한 후 사전조사의 응답을 바탕으로 보기를 확정하는 것도 하나의 방법이 됩니다.

사전조사 내용 코딩

사전조사를 하고나면 사전조사 한 응답을 코딩을 해보는 것도 괜찮습니다. 코딩을 해봄으로써 사전조사에서 나온 응답들을 확인할 수 있고, 또 우리가 질문을 잘 작성을 했는지 또 응답자들이 가장 많이 하는 실수는 무엇인지, 또는 잘못은 무엇인지 이런 것들을 확인할 수 있기 때문입니다. 사전조사를 다 마무리한 다음에는 사전조사에 응답자들에게 조사를 하면서 느꼈던 점이나, 또는 제안할 점을 물어보는 것도 도움이 됩니다. 응답을 하기는 했지만 응답을 하는 과정에서 이상했던 점이나, 어려웠던 점들을 알려주면 우리가 질문지를 확정하는데 도움이 되기 때문입니다. 질문지 초안을 작성한 다음에는 꼭 예비조사, 사전조사를 통해서 질문의 형태, 내용, 순서 그리고 전체적으로 걸리는 시간 이런 것들을 점검해서 완벽한 질문지를 가지고 본 조사를 할 수 있도록 해야겠습니다.