나는 당신의 이론 (그리고 복제) 부족을 발견한다.
어린이 그룹을 담당하는 자신을 발견했다고 가정 해 봅시다. 당신이 비교적 평균적인 심리학자이기 때문에, 당신은 테스트하기를 원하는 상대적으로 이상한 가설을 가지고 있습니다 : 당신은 빨간 셔츠를 착용하면 아이들을 도지 공에서 더 잘 만들 수 있는지 알고 싶습니다. 당신은 그렇게 생각할 것입니다. 나는이 가설이 이상하다는 것을 말합니다. 그것은 단지 직감이다. 조금이라도 더 이상은 "그것이 사실이라면 멋지지 않겠는가?"라는 생각. 어쨌든, 당신은 당신의 가설을 시험하고 싶습니다. 당신은 학생들을 뒤집어 놓기 시작합니다. 그러면 당신은 그들을 지나서 큰소리로 셀 수 있습니다. "1, 2, 1, 2, 1 …". "1"을 가진 모든 아이들은 빨간 셔츠를 입고 팀과 함께 있습니다. "2"를 가진 모든 아이들이 가서 빨간 셔츠가 아닌 더미에 새 셔츠를 집어 넣으십시오. 그들은 당신의 통제 그룹의 역할을합니다. 그런 다음 두 팀은 서로의 라운드를 피하면서 서로 경기를합니다. 빨간 셔츠를 입은 팀이 승리합니다. 사실, 그들은 상당한 차이로 승리합니다. 이것은 빨간색 셔츠를 착용하는 것이 학생들을 도지 공에서 더 잘 만들었 음을 의미합니다. 맞습니까? 글쎄요, 당신이 비교적 평균적인 심리학자이기 때문에, 아마도 빨간 셔츠가 분명히 효과가 있다고 결론을 내릴 수 있습니다. 확실히, 당신의 결론은 적어도 성급하고 틀릴 수도 있지만, 당신은 평균적인 심리학자입니다 : 우리는 술집을 너무 높게 설정할 수 없습니다.
"점프 성공 (p <0.05)"
연구에 대한 비판적 평가는 아이들이 그룹에 무작위로 배정 되었기 때문에 두 그룹이 동등하게 매치된다는 것을 의미하지는 않습니다. 빨간 셔츠 그룹에 속한 아이들이 미리 낫다면 효과를 낼 수 있습니다. 빨간색 셔츠가 어느 팀이 승리를 거두었는지와 거의 관련이 없을 수도 있습니다. 여기에서 누르는 질문은 왜 빨간 셔츠가 효과가있을 것이라고 생각합니까? 빨간 셔츠가 아이를 더 빨리, 더 강하게, 또는 이전보다 더 잘 잡거나 던질 수있게하는 것처럼 아닙니다. 적어도 이론적 인 이유가있는 것은 아닙니다. 다시 말하지만,이 가설은 당신이 그 기초를 고려할 때 이상한 것이다. 그러나 빨간 셔츠를 입는 것은 아이들이 기존 스킬 세트를 이용할 수있게 해 주었기 때문에 실제로 아이들이 더 잘 수행 할 수 있다고 가정 해 봅시다. 이것은 다소 분명한 질문을 제기합니다 : 왜 아이들은 이전에 사용하지 않은 자원을 활용하기 위해 빨간 셔츠를 필요로합니까? 게임을 잘하는 것이 사회적으로 중요하다면, 어쨌든 다른 사람들이 당신의 열악한 성적 때문에 괴롭히는 것을 원하지 않으며, 아이들은 더 잘할 수 있습니다. 그들은 더 나빠질 것입니다. 셔츠 색깔에 의해 영향을받는 어떤 종류의 트레이드 오프를 가정 할 필요가있을 것인데, 그것은 어떤인지 메커니즘이 고려해야 할 종류의 이상한 변수처럼 들린다.
그럼에도 불구하고 학업을 계속하고자하는 심리학자와 마찬가지로 결과를 Journal of Inexplicable Findings에 게시합니다. "붉은 셔츠 효과"는 심리학 교과서에 소개 된 고전의 무언가가됩니다. 게시 된 보고서는 다른 어린이들이 빨간 셔츠를 착용하고 다양한 작업을 상대적으로 잘 수행 한 다른 사람들로부터 자르기 시작합니다. 이 논문들 중 어느 것도 초기 연구의 직접적인 복제물이 아니며, 아이들은 적색 셔츠를 입고 동료들보다 뛰어나므로 "개념적 복제"라고 표시됩니다. 결국 개념은 순서대로 진행되는 것처럼 보이기 때문에 동일한 기본 메커니즘을 사용할 가능성이 높습니다. 물론 이러한 복제는 이전에 논의 된 이론적 인 문제를 다루지 않으므로 일부 연구원은 "빨간 셔츠 효과"가 모두 만들어 졌는지에 대해 다소 의심스러워하기 시작합니다. 이러한 우려 사항 중 일부는 출판물이 어떻게 작동하는지에 대한 이상한면을 토대로하고 있습니다. 긍정적 결과 – 효과를 발견 한 결과 -는 영향을 미치지 않는 연구에 대한 출판에 선호되는 경향이 있습니다. 이것은 Red Shirt Effect를 사용하려고 시도한 다른 연구원이있을 수도 있고, 아무것도 찾지 못했고, 결과가 모순이거나 모순되어서 아무것도 게시하지 못했음을 의미합니다.
결국, 같은 종이에 12 번에 걸쳐 Red Shirt Effect를 복제하려고 시도한 연구팀이 아무 것도 찾지 못했습니다. 어쨌든 당신의 학문적 경력에 대한 더 많은 문제가 여전히 남아 있습니다. 자연스럽게, 당신은 이것으로 꽤 화가났습니다. 분명히 연구팀은 뭔가 잘못된 것을하고있었습니다. 아마도 그들은 적절한 붉은 색 셔츠를 사용하지 않았을 것입니다. 어쩌면 그들은 그들의 연구에서 다른 브랜드의 닷지 볼을 사용했을 것입니다. 실험자가 빨간 셔츠 효과를 완전히 상쇄시킬 정도의 미묘한 방식으로 행동했을 수도 있습니다. 그런 다음 결과가 발표 된 저널의 리뷰어에 대한 표준이 충분하지 않은 것일 수도 있습니다. 뭔가 틀린 것이 틀림 없습니다. Red Shirt Effect가 다른 랩에서 개념적으로 여러 번 복제 되었기 때문에 많은 것을 알고 있습니다. 레드 셔츠 효과가 있어야합니다. 당신은 문학 작품의 히트 수를 충실히 세어 왔습니다. 물론, 당신은 또한 결코 발표되지 않은 미스를 세지 않았습니다. 또한 약간 변경된 히트를 "개념적 복제"로 간주했지만 약간 변경된 손실은 개념적 disconfirmation으로 계산하지 않았습니다. 이론적으로 왜 우리가 레드 셔츠 효과를 기대해야하는지에 대해서도 설명하지 못했습니다. 그럼 다시, 왜 당신에게 중요할까요? 당신의 평판의 일부가 위태로워졌습니다.
그리고이 색상들은 작동하지 않습니다! (p <0.05)
다소 관련있는 뉴스에서 사회 심리학자 인 Ap Dijksterhuis는 최근의 연구 (그리고 연구의 범위와 그것이 출간 된 저널)를 목표로 몇 가지 짠 말을 해왔다. Ap는 지능형 프라이밍에서했던 일을 9 번 반복하는 데 실패했다. 정보 프라이밍 (Shanks et al, 2013)에서 다른 사람들이 수행 한 작업도 포함됩니다. 지능형 뇌관 형성의 초기 아이디어는 교수 – 관련 단서를 가진 뇌관을받는 사람들이 객관식, 일반 지식 질문에 답할 때 더 좋게 만든 반면 축구 – 훌리건 관련 단서를 가진 뇌척 대상자는 자신을 더 나쁘게 만들었다는 것입니다. 농담이 아닙니다. 정말 이상했습니다.) 지능 그 자체는 다소 모호한 개념이며 사람들이 일반적으로 그 퍼지 개념의 일부 영역에서 더 높다고 여겨지는 교수에 대해 생각해 보도록 유도하는 것은 객관식 질문에서 더 잘 이해할 수있는 방법이 아닙니다. 내가 말할 수있는 한, 왜 소수가 그런 방식으로 작동해야하는지, 더 정확하게는 막연하고 관련이없는 소수가없는 사람들은 그러한 지식에 접근 할 수없는 이유를 둘러싼 이론이 없다. 최소한, 아무 것도 논의되지 않았습니다.
- 괴롭힘. 완전한 이야기
- 우리는 모두를 위해 뭔가를 얻었다 : 바넘 효과
- 내가 실패 할 때 나는 또한 성공했다.
- 우리 심리학자들은 대중에게 우리의 책임을 무시합니다.
- 자기애 적 자격의 심리학 재검토
Shanks et al (2013)에 의해보고 된 복제 실패는 중요하지 않았지만 올바른 방향으로 당신을 염두에 두었습니다. 그들은 종종 잘못된 방향으로가는 것처럼 보였습니다. 샹크스 (Shanks) 등 (2013)은 수요 특성을 명시 적으로 찾았지 만이를 찾을 수 없었습니다. 지능형 프라이밍 효과가 이전에 다소 큰 것으로보고되었다는 사실에 비추어 9 번의 연속적인 실패는 놀랍습니다. 커다란 효과가 너무 빨리 사라질 수 있다는 것은 매우 특이한 것처럼 보입니다. 그들은 복제 할 수있는 아주 좋은 기회를 가졌을 것입니다. 샹크스 (Shanks) 등 (2013)은 지능형 뇌관 형성에 대한 확증적인 연구 중 많은 부분이 출판 편향성, 연구자의 데이터 분석 자유도, 또는 그 둘 다를 대표한다고 제안하는 바를 적절하게 제안한다. 고맙게도 Ap의 짤막한 발언은 독자가 "정보를 소중히 할 수 있다는 것을 발견 한 것은 10 개의 실험실에서 25 개의 연구에서 얻어졌다"고 상기시켰다. 확실한; 메이저 리그의 타자가 박쥐에서 공을 때리는 횟수 만 계산하면 그의 타율은 엄청난 1.000입니다. 히트 곡이 아니라 희곡이 아닌 곡을 히트 곡으로 간주하는 것이 확실합니다. 아마도 Ap는 그의 의견을 쓰기 전에 교수에 대해 더 많이 생각해 보았을 것입니다. (소수를 생각해 보았지만 운이 좋지 않을 수도 있습니다.)
나는 다른 사회 심리학자, 존 바그 (John Bargh)가 걷는 속도에 대한 오래된 고정 관념을 초조하는 것에 대한 그의 연구가 복제되지 못했을 때 (John이 이후 그의 지위를 삭제 했음에도 불구하고) 비슷한 수준의 짠 말들을 덧붙이고 싶습니다. 이 두 경우에는 다른 "개념적 복제"에 대한 주장은 있지만 "복제의 개념적 실패"에 대한 주장은 없다. 결과를 간행하는 전표의 신뢰성에 개인 공격; 발견을 재현하지 못한 연구원들에 대한 개인 공격. 복제 실패에 대해보고하는 사람들에 대한 개인 공격까지도 포함합니다. 더 흥미롭게도 John은 프라이밍 효과가 너무 약해서 초기 실험에서 약간의 편차라도 전체를 혼란에 빠뜨릴 수 있다고 제안했습니다. 이제 당신의 "효과"가 너무 짧아서 연구 프로토콜에 대한 사소한 조작으로 완전히 취소 할 수 없다면 효과와 관련하여 중요성을 많이 다루지 않을 것입니다. . 그것은 정확히 똑똑하게 "똑똑한"사람이 다른 설득력있는 울부 짖음에서 벗어나기로 생각했을 수도 있습니다.
"나는 잘 복제하지 못했다. (p <0.05)"
또한 완성도를 위해 스테레오 타입 위협의 프라이밍 효과가 잘 복제되지 않았 음을 추가 할 것입니다. 오, 그리고 우울한 현실주의의 효과는별로 약속하지 않습니다. 이것은 연구의 자유와 출판 편견으로 인한 위험을 감안할 때 이런 종류의 문제에 대해 더 나은 보호 장치를 제정하는 것이 현명 할 것입니다. 복제는 그러나 지금까지만 진행됩니다. 복제는 충분한 비용으로 (현재는 많지 않은) 저널을 기꺼이 출판 할 의향이있는 연구원 (낮은 보상, 낙심 한 활동 일 수 있음) 및 저널을 필요로합니다. 따라서 복제는 지금까지 문제를 해결하는 데에만 도움이 될 수 있다고 생각합니다. 이 문제에 대한 단순하지만 부분적인 해결책은 심리적 연구에 실제 이론을 포함시킬 것을 요구하는 것입니다. 특히 진화론. 거짓 포지티브가 게시되는 것을 멈추지는 않지만 다른 연구자와 검토자가 적어도 논문에서 제기 된 주장을보다 철저하게 평가할 수 있습니다. 이를 통해 가난한 가정이 더 잘 제거되고 직접 해결할 수있는 더 나은 연구 프로젝트가 가능합니다. 또한 오래된 이론을 업데이트하고 새로운 자료를 제공하는 것은 개인적으로 가치있는 기업입니다. 이론이 없다면, 당신이 가지고있는 것은 발견 한 것들을 포착하고, 긍정적이고, 부정적이며, 어떻게 해야할지, 어떻게 이해해야하는지 모릅니다. 이론이 없으면 지능형 뇌관 (즉, 붉은 셔츠 효과)과 같은 것들이 타당합니다.
참고 문헌 : Shanks, D., Newell, B., Lee, E., Balakrishnan, D., Ekelund, L., Cenac, Z., Kavvadia, F., & Moore, C. (2013). 지능형 행동 초급 : 어려운 행동 PLoS ONE, 8 (4) DOI : 10.1371 / journal.pone.0056515
저작권 Jesse Marczyk
