Abstract

While online surveys are considered to be the viable alternative to face-to-face and telephone surveys, many clients express a strong concern about the possibility of unreliable responses. Given this concern, survey experts hypothesize that amounts of time on responding can represent the extent to which respondents fill out the questions with sincerity. This study examines this hypothesis using data from an online survey sample of 1.052. Results strongly suggest that while "long time" informants are reliable, "short time" informants are not. Those in the short time group spend only 2.4 seconds per question and show very different patterns of responses to 49 Likert -typed questions. Logistic regression results imply that these unreliable respondents are interested in monetary gifts and maybe as a result, participate in surveys much more frequently. In conclusion, we provide some implications of these results to the quality of online surveys.

온라인 조사는 면접 조사와 전화 조사를 대체할 조사 방법으로 각광받고 있지만 면접원 없이 진행되는 자기기입 방식을 택하고 있기 때문에 응답자가 불성실하게 응답할 수 있다는 불신을 받고 있다. 이러한 단점에 대해 조사 전문가들은 설문 응답시간을 통해 불성실 응답자들을 차단할 수 있다고 생각해 왔다. 너무 짧거나 긴 설문시간은 성실하지 못하게 조사에 응한 증거로 볼 수 있다는 논리이다. 본 연구는 이러한 가설을 실증적으로 확인해 보고자 한다. 이를 위해 1,052명으로 이루어진 온라인 조사 패널 회원을 대상으로 온라인 조사를 실시하여 응답시간을 분석하였다. 평균 비교, 응답 범주 횟수, 상관 분석을 실시한 결과, 설문 시간이 짧은 응답자들은 대략 만족적(satisficing)응답 경향을 보이거나, 나머지 응답자들과 매우 다른 방식으로 응답을 하는 등 불성실 응답 가능성이 높은 것으로 나타났다. 반면 설문 시간이 긴 응답자들에게서는 이러한 문제가 나타나지 않았다. 로지스틱 회귀분석 결과 설문 시간이 매우 짧은 응답자들은 금전적 관심이 높았으며, 조사 참여 시도 횟수는 많았고, 보상 적립금의 기부율은 낮았다. 또한 이들은 패널가입기간이 짧다는 특징이 있었다. 본 연구의 결과는 온라인 패널에 불성실하게 응답하는 회원이 엄존함을 보여주고 있는데, 이에 대처하기 위해서는 온라인 조사를 실시할 때, 실제 표본 수보다 많은 표본을 조사하여 응답 시간이 지나치게 짧은 집단을 제외해야 할 것이다. 또한, 불성실 응답과 관련된 패널 관리는 가입 초기에 집중되어야 할 것이다.

Keywords

• response time;
• unreliable response;
• panel management

• 설문시간;
• 불성실 응답;
• 응답 패널 관리;