연구를 위해 Amazon MTurk를 사용할 때 만들어 줄 4 가지 변화
며칠 전, 저는 파트 타임으로 일하는 다소 강렬하고 유쾌한 경험을 아마존 기계적 터크 (MTurk) 노동자. 이 경험으로 말하면서 "흔들리고 흔들 리게"할뿐만 아니라 MTurk을 조사자 또는 실험 데이터를 수집하는 연구원으로 다시 사용할 때 필요한 변경 사항에 대해서도 생각하게했습니다.
다음은 MTurk을 사용하여 작업을 게시 할 때 만드는 4 가지 변경 사항 목록입니다 (동료 연구원은 J에 가입하는 것을 환영합니다).
1. 노동자를 두 배나 지불하십시오!
임금 문제는 아마도 내 경험에서 가장 눈에 띄는 계시 였을 것이고 MTurk 근로자의 신발을 1 주일 간 걸어 다닐 필요가 없으면 불가능했을 것입니다. 지금까지 제가 MTurk에 설문 조사를 올렸을 때, 나는 그것들을 전혀 생각하지 않으면 매우 추상적이고 모호한 방식으로 생각했습니다.
상업적 마케팅 연구에 종사하면서, 마음에 드는 잔소리감이있었습니다. 저가의 가격에 대한 데이터를 얻었습니다 (한때 저는 수감자와 관련된 연구 프로젝트에서 일 했었습니다. $ 3 / 설문 조사); 그러나 나는 그것을 닦았다. 어떤 비용으로? 직원의 경험을 통해 MTurk 직원이 얻는 가치에 대해 충분한 비용을 지불하지 못했다는 사실이 나에게 분명합니다.
6-7 분의 설문 조사를 위해 개방형 질문의 수에 따라 $ .40 ~ $ .60을 제안했으며, 구절을 읽고 이해해야했습니다. 이제부터는 적어도 $ 1.00을 제안 할 것입니다. 제한된 연구 예산으로 인해 일방적 인 임금 인상은 프론트 엔드에서 연구를보다 신중하게 계획하고 계획하는 데 더 열심히 노력해야한다는 것을 의미합니다.
(아마존은 최근에 연구원에게 크게 위임 한 수수료를 인상했음을 알지만, 나는 그것을 보는 방식으로, 더 사나운 전투기에게 남겨진 것이 완전히 다른 문제이며 공정한 근로자 보수와는 아무런 관련이 없다).
거기에 두 배나되는 마케팅 교수가 있습니다! 이상한, 알아.
2. 조사 품질을 철저히 관리하고 유지합니다.
MTurk 근로자의 관점에서,인지 적으로 (질문에 대한 사고와 반응에서) 그리고 주머니 책에서 모두 아픔을 늦추는 것이 있습니다! 이러한 통증에는 많은 것들이 포함될 수 있습니다. 문란한 질문, 철자 오류, 문법 오류, 복잡한 설문 조사, 디지털 시계가 고의적으로 실행되는 동안 응답자가 2 분 이상 앉아있는 작업, 자유롭게 질문을 작성하도록하는 개방형 질문 엄청나게 많은 단어 (또는 문자, 나는 100 개 이상의 문자가 너무 많다고 느낍니다.), 너무 긴 설문 (70 개 이상의 질문은 너무 길다)은 모두 설문 조사자의 고통에 크게 기여합니다.
MTurk에 게시 한 연구에서 (또는 저의 공동 저자), 우리는 일반적으로 이러한 것들에 대해 좋은 평가를 받았습니다. 그러나 우리는 수시로 흔들립니다. 때로는 질문의 응답 유형을 잘못 인식하여 실제로 텍스트로 채워야하는 공백이 전자 메일 주소에 대한 응답을 강요하도록 만듭니다. 우리가 응답을 방해하는 게시 할 때 다른 시간, 설문 조사에 눈부신 타이핑을 남겨주세요. 우리가 고치기에 초점을 맞추고있는 이것과 같은 작은 것들입니다.
내 자신의 가장 무시 무시한 품질 관리 감독은 내가 종종 MTurk에 게시하려고하는 설문지를 통해 복사 편집, 사전 테스트 및 실행을 건너 뛸 것이라고합니다. (저의 게으름이나 부끄러움이없는 과실로부터 나는 어떤 것을 알지 못합니다.)
지금부터 나의 만트라 : MTUD (MTurk) 직원을 위해 게시되기 전에 최소한 3 번 이상 자신과 공동 저자 또는 미니언에게 질문지를 복사하여 사전 테스트합니다. 필자가 원활하게 작업 할 수 없다면 응답자도 그렇지 않을 가능성이 있습니다.
나는이 모든 잠재적 인 문제들을 검토하고 온라인 조사를 실시하는 연구자들에게 유용 할 수있는 체크리스트 를 만들었다. 여기에서 다운로드 할 수 있습니다.
3. 정보에 입각 한 동의를 얻는 것뿐만 아니라 "정보 피드백"기회를 제공한다.
대부분의 연구자들과 마찬가지로, 본인의 설문 초기에 나의 연구 절차, 잠재적 위험성, 연락처 정보 등을 설명하는 정보에 근거한 동의서를 삽입합니다. 그러나 저는 이제 이것이 이것이 두 가지 이유에서 도움이되지 않는다는 것을 알고 있습니다.
- 형태는 다소 조밀하다. 연구가 시작되기 전에 MTurk 직원이 시계에 300+ 단어를주의 깊게 읽을 것으로 기대하는 것은 당연한 일입니다. 근로자에게 나중에 참조 할 수 있도록 인쇄물을 인쇄 해달라고 요청할지라도 대부분 그렇게하는 것은 아닙니다.
- 정보 공개 동의서는 연구자의 이름과 연락처 정보가 제공되는 유일한 장소입니다. 그러나 작업자는 최종 버튼을 누르고 설문 조사를 제출 한 후 맨 끝에이 정보가 실제로 필요합니다.
따라서 정보에 근거한 동의서를 얻는 것 외에도, 설문 조사가 제출되고 주어진 완료 코드가 끝나면 맨 마지막에 "정보 피드백"을 얻을 것입니다. 내 연락처 정보를 제공하고 피드백을 요청하고 불만 사항을 말할 수있는 기회를주는 것이 적절하다고 생각되는 곳입니다.
마케팅 담당자는 레스토랑 식사 나 비행기 타기 후에 고객에게 일상적으로 경험을 묻습니다. 그렇다면 MTurk 조사 후 연구원이 같은 일을해서는 안되는 이유는 무엇입니까?
4. 엄청나게 다른 샘플과 방법으로 MTurk 연구를 보완하십시오.
MTurk 데이터의 통계적 타당성과 관계없이, 설문 조사자가 조립 시계 작업자가 Apple 시계를 조립하는 것과 같은 설문 조사를 작성하는 방법만으로 수행되는 사회 과학 연구에 대해 본질적으로 냄새가 난다.
왜 그랬는지 말해 줄 게요. 도덕적 인 의사 결정에서 중요한 (그리고 끔찍한) 부류의 문제는 정말로 나쁜 상황 두 가지 중 하나를 선택하는 것입니다. (우리 중 누구도 우리의 실제 삶에서 만나지 않기를 진심으로 바랍니다.) 그러한 딜레마에는 다음과 같은 것들이 포함됩니다 : "한 아이를 맨손으로 피우며 12 명의 낯선 사람들을 살해 하지 않겠습니까 ?" 또는 "마을 전체가 될 것이라는 것을 의미한다면 마을 축제에서 애완용 개 / 고양이를 요리하고 제공하겠습니까 ? 즉시 도살 당하지 않겠습니까? " Yikes!
이러한 질문 유형은 무시 무시합니다. 어떤 정상적인 인간이라도, 당신이 그들을 만났을 때 감정적이고 도덕적 인 혼란을 일으킨다. 그것이 그들이하는 것을 의미합니다. 그러나 같은 질문을 여러 번 반복해서 만났다고 가정 해 봅시다. 매주 20 건의 설문 조사에서 12 가지 질문을 접하게된다고 가정 해 봅시다 (도덕적 의사 결정은 인기있는 연구 주제입니다).
그러한 질문에 답한 17 번에 같은 강렬한 도덕적 곤란을 느낄 것입니까? 안돼! 당신은 다음과 같이 갈 것입니다 : "하품! 오 잘, marauders를 달래기 위해, 나는 마을 향연을 위해 스테이크에 로버를 요리 할 것이다! 다음으로! " 요점은 응답 할 때 연구원이 원하는 방식, 예상하거나 예상하는 방식대로 질문에 대답 할 수 있지만 반드시 그러한 도덕적 결정의 핵심에 놓여있는 정서적 인 혼란!
MTurk 샘플 기반 조사 만 수행하는 것에 대해 조심스럽게 생각하는 다른 이유가 두 가지 이상 있습니다. 첫째, MTurk 연구 실행의 용이성, 비용 및 속도로 인해 같은 프로젝트에 대해 수많은 연구를 수행하는 경향이 커지고 있습니다. 발견을 복제하고 소규모 메타 분석 과 같은 공상적인 통계 방법을 사용하여 이펙트의 크기를보다 확실하게 줄 입니다.
그러나 값이 싼 데이터의이 대홍수는 모든 연구가 균질하게 지칠 줄 모르는 설문 조사자들과 함께 수행되었다는 사실을 간과하고 있습니다. 결과는 조립 라인 설문 실시자를 초월하여 일반화되지 않을 수 있습니다. 그리고이 문제의 진실은 전문 조사 수혜자가 상대적으로 적다는 사실 외에도 너무 적다는 것입니다.
둘째로, 특히 응용 연구자의 경우 수많은 온라인 연구를 수행함으로써 발생하는 자만심으로 인해 온라인 설문 조사에서 상상할 수있는 이야기 및 시나리오가 포함 된 텍스트 기반 작업과 관련된 심각한 제한 사항을 인정하는 데 초점을 두지 않습니다. 이러한 측정은 우리가 실제로 공부하는 데 관심이있는 현실 세계에서의 실제 결정이나 행동으로 이전되거나 전달되지 않을 수 있습니다.
이러한 이유로, 나는 MTurk 샘플은 주로 사전 테스트를 수행하고 특정 연구 프로젝트에서 연구의 작은 부분을 구성하는 탐색 연구용으로 사용됩니다. 그것이 그렇듯이, 저는 현장 조사 (예 : 실제 고객을 대상으로)를 실시하고 설문 조사자가 어떻게 행동하는지에 대한 의견보다는 실제 행동을 측정하는 것을 선호합니다.
나는 마지막 한가지를 말하고 싶다. (만약 독자가 독자라면, 저를 멀리 소리없이 저주하는 일없이 멀리까지 갈 수있다.) MTurk에서 작업을 게시 할 때 연구자가 실명을 사용하고 제휴 관계를 분명히 밝히면 좋지 않겠습니까? "SocPerfLab37"와 같은 가명을 사용하면 매일 비아그라를 피하는 온라인 스패머의 인상을 남깁니다!
추가 리소스
다이나모 (Dynamo)라고 불리는 MTurk 근로자와 연구자의 공동체는 내가 여기서 다루었던 많은 것들을 훨씬 더 깊이있게 설명하는 연구자들을위한 훌륭한 가이드 라인을 제시했다. 이 그룹은 또한 MTurk 근로자들의 집단 행동에 대한 흥미로운 연구를 수행했습니다.
나에 관한 더 많은 것
저는 라이스 대학교 (Rice University)의 MBA 학생들에게 핵심 마케팅 및 가격 책정을 가르치고 학업적인 비타 (vita)는 여기에 있습니다.
SSRN에서 많은 학업 및 실무자 중심의 글을 찾아 다운로드 할 수 있습니다. 내가 쓴 옛날 것을 발견 할 수 없다면 나에게 이메일을 쏴라. 나는 그것을 당신에게 보낼 것이다.
관리자와 사업가를위한 제 글 중 일부는 HBR.org에서 찾을 수 있으며 심리학 분야의 "Behind Behavior"라는 비교적 새로운 블로그를 작성합니다 .
LinkedIn 또는 Facebook 에서 저와 연결하거나 이메일을 보낼 수 있습니다. 미래 블로그 작품이나 학술 연구 프로젝트에 대한 모든 질문, 의견, 생각 및 아이디어는 환영합니다. 증오 우편을 보내지 마세요.
[이 게시물은 LinkedIn Pulse 에서 교차 게시되었습니다.]
