얼마나 많은 아마존 MTurk 조사원이 있습니까?

오늘날 대부분의 실험 소비자 연구원 (사회 심리학자, 정치 과학자, 행동 경제학자는 말할 것도 없습니다)은 학생용 주제 풀을 Amazon Mechanical Turk (MTurk) 직원으로 대체하거나 보완하여 연구를 수행했습니다. 연구를 위해 MTurk 조사원을 이용하는 것이 편리하고 저렴하며 빠릅니다. (또한 종종 착취적인 블로그이지만 다른 블로그 게시물이기도합니다.)

Zol Korabi by Rolo Natkys Flickr Licensed Under CC BY 2.0
출처 : Rolo Natkys Flickr의 Zol Korabi는 CC 2.0 라이센스를 받음

매년 수만 건의 심리학 연구가 MTurk 근로자를 대상으로 설문 조사를 진행하고 있습니다. (이 블로그 게시물을 쓰면서 MTurk를 검색했을 때 MTurk 직원으로 채워지는 319 건의 설문 조사를 이용할 수 있었으며 MTurk Master 자격도 없었습니다!)

오늘날 사회 과학 연구의 상당 부분이 MTurk 근로자에게 의존하고 있다는 점을 감안할 때이 사람들에 대해 더 많이 알고 있어야합니다. 이 정보는 실시되는 연구의 타당성과 관련이 있습니다. 다음과 같은 중요한 질문이 많이 있습니다.

  • 이 사람들은 누구 니?
  • 그들은 설문 조사에 진지하게 대답하고 있습니까?
  • 우리가이 집단에서 찾은 어떤 것이 더 많은 인구에 실제로 적용될 수 있다고 확신 할 수 있습니까? 다른 말로하면, 그들은 대표자입니까?
  • 대답에서 추론이 얼마나 유효합니까? 우리는 어떤 것들에 대해 염려해야 하는가?

이 질문들 각각은 파고 들어 볼만한 가치가 있습니다. 그러나이지면에서 내가 궁금한 다른 질문을 생각해보고 싶다. "아마존 기계 터크에는 설문 조사에 참여한 사람이 몇 명이나됩니까?"

이 질문이 중요한 이유는 무엇입니까?

이 게시물의 뒷부분에서 좀 더 논의 할 연구에서 영감을 얻으면 Amazon MTurk 사이트를 연못, 어부 또는 어부 인 각 연구원, 그리고 물고기 인 MTurk 직원으로 생각하는 것이 도움이됩니다. 연구원이 연구를 올릴 때마다, 그들은 수백 개의 물고기를 잡기 위해 그물을 던지고 있습니다. 그들은 물고기를 잡아서 풀어 주지만 그 과정에서 물고기의 "본질 (essence)"을 추출하여 물고기의 초기 상태에서 물고기를 변화시키는 질문의 답 형태로 추출합니다.

현재, (대부분) 학계에서 매주 수천 번 MTurk 연못에 그물을 캐스팅하고 있으며 점점 전문적인 여론 조사 전문가들이 그물을 캐스팅하고 있습니다. 그러므로 "물고기가 충분합니까?"라는 질문이나 우리가 모두 같은 물고기를 잡는 것이 중요합니다.

응답자의 큰 풀에는 (1) 다양한 특성을 찾을 수있는 더 큰 기회와, 무거운 TV 시청자 또는 하이킹 애호가와 같은 특정 특성을 가진 충분한 수의 응답자, (2) 설문과 정직으로 설문 조사에 심각하게 응답하는 작업을 수행하는 "신선한"오염되지 않은 응답자 (즉, 일반적인 자제력 척도에 응답하지 않았거나 사회 경제적 복지가 십 (3) 많은 인구를 대표하는 표본의 확률이 더 높습니다 (그러나 이것이 보장되지는 않음).

말의 입에서 곧장 – MTurk 사이트?

대답을 찾기위한 논리적 인 첫 번째 장소는 MTurk 사이트 자체입니다. Amazon은 매일 두 가지 이유로이 정보를 제공 할 것으로 기대합니다. 첫째, 이는 사이트를 사용하기 위해 귀중한 비용을 지불하고있는 Amazon 고객 (학술 및 상업 연구원)에게 중요한 정보입니다. 의심의 여지없이, 그것은 사이트를 사용하여 수행 된 연구의 질을 향상시킬 것입니다. 둘째, MTURK 직원 중 몇 명이이 사이트를 사용하고 있는지 알고 있으므로 쉽게 추출하여 게시 할 수 있습니다. 그러나 불행히도 그것은 사실이 아닙니다.

그들의 주장은 "190 개국에서 50 만명이 넘는 노동자들에게 접근하라"는 것은 의미가 없으며 부정확하고 수년 동안 변하지 않았기 때문이다. 또한 50 만 명의 혐의를받은 사람들이 실제로 설문 조사를하거나 사이트를 방문한 사람이 얼마나되는지 분명하지 않습니다.

제쳐두고, 그것은 예민하고, 부끄러운 일이며, 가디언, 월 스트리트 저널, 심지어 퓨 리서치 센터와 같은 연구 기관과 같은 유명한 언론 매체가이 dodgy 번호를 게으르게보고합니다. 이것은 꽤 "가짜 뉴스"는 아니지만보고되는 이야기의 나머지 부분을 왜곡 할 수 있기 때문에 나에게 "게으른 뉴스"처럼 보입니다.

멋지지 않은, 아마존과 큰 미디어! 자, 이제 우리는 번호를 찾을 다른 소스가 필요합니다.

Stewart et al. 연구, 판단 및 의사 결정, 2015.

심리학 교수 인 닐 스튜어트 (Neil Stewart)와 다른 나라의 7 개 연구소의 연구원 이이 질문에 대한 답을 얻기 위해 가장 포괄적이며 인상적인 (크기 및 기간면에서) 연구를 수행했습니다. 2012 년 1 월부터 2015 년 3 월까지 모든 실험실에서 MTurk 데이터 수집을 다루고 야생 동물의 특정 동물이나 조류의 개체수를 파악하는 데 사용되는 멋진 통계 방법을 사용하여 MTurk를 사용하는 평균 연구원은 주어진 시간에 약 7,300 명의 응답자 풀에 대한 액세스. 그들은 또한 MTurk 설문 실시 자의 26 %가 매 분기마다 "은퇴"하고 새로운 근로자에게 보충된다는 사실을 발견했습니다. 또한 주목할 만하게, 그들의 실험실은 주로 미국 근거한 응답자를 사용했습니다. 나는 그들의 비교에 맞았다 :

따라서 평균 실험실이 도달 할 수있는 인구는 일반적인 대학의 능동적 인 참여자 풀보다 몇 배 더 크다 (과정 크레딧 풀은 상당히 높은 흡수율을 보이는 경향이있다). 이직률은오고가는 것과 다르지 않다. 대학생 "(p.485)

MTurk 측 설문 조사자는 스테로이드를 복용하는 대학생 대상과 같습니다!

그들의 다른 결론 중 일부는 똑같이 생각을 자극하여 최소한을 말하고 있습니다. 설문 조사자 중 약 65 %가 같은 연구실에서 진행된 여러 연구에 참여했습니다 (필자는 자신의 논문에서 그림 5를 눈으로 볼 때이 가치를 얻었습니다). 이제는 이러한 여러 연구가 서로 다른 주제에 관한 것이었지만 여전히 이상적이지는 않습니다. 그리고 참여자의 50 % 이상이 여러 실험실의 연구에 참여했습니다. 이것은 잡히고, 풀려 나서 다시 잡히고, 다시 풀리고, 다시 잡히는 물고기입니다.

나이 든 출처에 대한 다른 두 가지 견적을 찾거나 신뢰할 수없는 방법이라고 생각했던 것을 사용하여 찾을 수있었습니다.

  • 카렌 포트 (Karen Fort), 질 아다 (Gilles Adda) 및 브레 톤 넬 코헨 (K. Bretonnel Cohen)의 Computational Linguistics에 관한 2011 년 연구는 설문 조사자의 수를 15,059 명에서 42,912 명으로 추정했습니다. 이것은 MTurk 근로자의 설문 조사 추정치를 기준으로 작성되었으며 전문가 의견을 사용하여 조정되었습니다. 또한 미국 이외의 응답자도 포함되었습니다 (상당한 수의 직원이 인도 출신 임).
  • 레드 닷 (Reddit)의 한 익명의 논평자는 누가 연구에 참여할 수 있는지에 대한 조건이나 제한이 없기 때문에 일주일에 6,000 명의 독특한 응답자를 얻을 수 있다고 지적했습니다.

그럼이 숫자들을 어떻게 만들지?

온라인 패널 회사 인 YouGov는 37 개 국가를 대상으로하는 4 백만 명의 온라인 패널과 180 만 명의 패널을 보유한 미국 패널을 보유하고 있다고 주장합니다. 마찬가지로 SurveyMonkey는 온라인 패널에 3 억 명 이상의 온라인 패널이 있고 슬라이스 인텔리전스에 420 만 명이 온라인 패널을 보유하고 있다고 주장합니다. 분명히 이것은 아마존의 "Over 500,000 …"주장과 같은 단순한 주장 일 뿐이며, 그 중 어떤 것도 검증 할 수는 없다.

아마존 MTurk로 돌아와서, 나는 많은 물고기가 없으며 MTurk 연못에 너무 많은 그물들이 던져져있는 것으로 보인다. MTurk 직원의 대다수가 짧은 시간 내에 수십 가지가 아닌 다른 조사를 수행했기 때문에 이것은 심리학 연구자에게는 좋은 소식이 아닙니다. 많은 사람들이 마라톤 조사 모임의 한가운데에있을 가능성이 큽니다. 연구자가 기분 전환 또는 특정 사고 방식과 같은 심리적 조작을 시도하는 경우이 문제는 모든 종류의 문제를 일으킬 수 있습니다 (향후 게시물에서 자세히 설명).

너무 많은 어부 사람들, 물고기가 충분하지 않습니다.

이것이 우리가 남겨진 이미지입니다. 주어진 시간에 약 10,000 마리의 물고기가 수영하는 연못을 상상해보십시오. 그리고 매주 수만명의 어부와 어부들이 연못 주변에 줄을 서서 매주 수천 번씩 낚아 채고, 물고기를 잡아 탐험하고, 풀어주고, 잡아 당기고, 탐사하고, 풀고, 붙잡고, 탐사하고, 풀어 준다고 상상해보십시오. 계속해서. 물고기의 4 분의 1이 3 개월마다 은퇴한다는 것은 당연한 일입니다. 그들은 아마도 어부 사람들의 수많은 조사에서 불 태워 질 것입니다. 이것은 사회 과학 연구를하기 위해 MTurk 근로자를 이용하는 것이 2017 년경과 같습니다.

추신:

이 게시물을 작성한 후, Kristy Milland (Twitter 처리 : @TurkerNational)는 그녀가 수행 한 연구에 대한 링크를 보냈습니다 (아래의 설명 참조). 2015 년 6 주 동안 그녀는 25,293 명의 독특한 미국인 참가자들과 총 30,002 명의 참가자 (대부분은 인도 출신)가 그녀의 히트작을 완성했습니다. 여기에는 조사원뿐만 아니라 모든 MTurk 직원이 포함됩니다. Kristy의 연구 결과에 대한 링크는 여기에서 찾을 수 있습니다.

나에 대해서

저는 라이스 대학교의 MBA 학생들에게 마케팅과 가격 책정을 가르칩니다. 내 웹 사이트에서 나에 대한 더 많은 정보를 찾거나 LinkedIn, Facebook 또는 Twitter @ud에서 나를 팔로우 할 수 있습니다.