심리학에서 복제 위기에 대한 빠른 안내서
연구 :
Brian Nosek과 열린 과학 공동 작업 :
우리는 사용 가능한 고성능 디자인과 원본 자료를 사용하여 3 개의 심리학 저널에 발표 된 100 개의 실험 및 상관 연구의 복제를 수행했습니다. [여기 과학 기사.]
조사 결과 :
- 복제의 36 %만이 "성공"(즉, 생산 된 P 값 <.05)이었다.
- 복제물의 평균 효과 크기는 원래 연구의 절반 정도였습니다.
- 약하고 놀라운 결과는 복제 가능성이 적었습니다.
- 사회 심리학 적 연구 결과는인지 심리학에서 발견 된 내용의 절반 정도였다.
- 주요 효과는 상호 작용 효과보다 복제 가능성이 더 높았다.
복제하지 못한 결과 중 일부는 …
- 사람들은 자신의 행동이 결정되었고 따라서 자유 의지가 없다는 것을 알리는 구절을 읽은 후 속임수를 쓰게 될 가능성이 더 큽니다.
- 사람들은 손을 씻었을 때 덜 엄격한 도덕적 판단을합니다.
- 결혼 한 여성들은 배란 일 때 독신 남성에게 더 끌립니다 (여성이 배란 할 때). [여기, 여기를 참조하십시오.]
뭐가 문제 야?
복제 속도가 낮습니다. 전염병 학자 John Ioannidis는 출판 된 연구 결과의 약 50 %가 의학에서 적어도 거짓임을 추산했습니다. 따라서이 결과는 그가 기대했던 것보다 더 나쁩니다.
- 연구 : 일부 PTSD는 폭발 사고로 이어질 수 있습니다
- 임신 중에 운동은 유아의 뇌 발달을 돕습니다.
- 학습, 기억, 상상
- 하이퍼 공감을위한 유전 적, 신경 생리학 적 기초
- 관계가 끔찍하게 잘못되었다는 징후 10 개
실제 복제 속도는 36 %보다 낮을 수도 있습니다. 모든 연구는 3 가지 최상위 심리학 저널에서 가져 왔습니다. 누가 더 낮은 순위의 저널에서 성공률이 토템 기둥에 더 가깝게 될지 누가 알 수 있습니까?
액면 가격을 취한 Nosek의 연구는 심리학에서의 어떤 주어진 발견은 사실보다는 허구 일 가능성이 더 높음을 시사합니다. 심리학을 공부하다 보면 배운 내용 중 많은 부분이 거짓입니다. 심리학을 가르치고 있다면 거짓말을 퍼뜨리는 데 큰 도움이 될 것입니다. 그게 문제 야.
응답 :
"36 %의 복제율은 실제로 그렇게 나쁘지 않습니다."
산 제이 스리 바스 타바 :
과학은 위험을 감수하고 국경을 밀어야하기 때문에 최적의 과학조차 오 탐지를 일으킬 수 있습니다. 복제의 36 %가 통계적으로 중요한 결과를 얻는다면, 그 숫자가 무엇인지 분명하지 않습니다. [더]
평결 : 반대.
첫째, 높은 위양성 비율은 지적 위험 감퇴 때문 만은 아닙니다. 작은 샘플 크기, 파일 해킹, 파일 서랍 현상, 출판 편향, 그리고 어떤 경우에는 데이터의 철저한 제작 때문일 것입니다.
더욱이, 이러한 문제들 중 어느 것도 문제가되지는 않았지만, 복제 율이 심리학에서 거의 시도되거나 공개되지 않는 것을 감안할 때 복제 율은 여전히 걱정 스러울 것입니다. 36 %의 복제율은 문학에서 오 탐지를 뿌리 뽑는 데 더 많은주의를 기울 였지만 괜찮 았지만 그렇지 않았습니다.
"심리학이 아니야!"
평결 : 동의하십시오. 일부 분야는 심리학보다 나은 것으로 의심의 여지가 없습니다. 그러나 일부 분야는 더 악화되고 있습니다. [예를 들어, 여기를 참조하십시오]
"심리학 전부 는 아닙니다. 일부 지역은 다른 지역보다 더 나쁩니다. "
평결 : 동의하십시오. [예를 들어 여기를 참조하십시오.]
Vern Quinsey :
나는이 프로젝트가 마음에 들지만 결과가 전달되는 편협한 방식을 좋아하지 않는다. 첫째, 결과는 심리학을 대표하는 것처럼 표현되는 경향이 있습니다. 예를 들어, 심리 물리학과 기억은 과소 표현됩니다. 더 중요한 것은 심리학의 많은 부분이 실험실 실험을 사용하지 않는다는 것입니다. 데이터는 보관소에서 수집됩니다. 이 분야 중 일부에서는 중요한 관측이 수 백 번 반복되었습니다 (예를 들어, 연령 – 범죄 상관 관계를 생각해보십시오). 둘째, 복제 가능성 문제를 다루기 위해 명시 적으로 고안된 메타 분석 기술은 현재 매우 정교합니다.
관련 트윗 :
[주의 : "beh 유전"= "행동 유전"브라이언이 연결 한 연구는 여기에 있습니다.]
"거짓 결과의 발견과 거부는 과학의 일부일뿐입니다. 심리학은 잘하고있어. "
리사 펠드만 배럿 :
복제 실패는 경보의 원인이 아닙니다. 실제로 과학이 어떻게 작동하는지는 정상적인 부분입니다 … 똑같은 현상을 조사하는 잘 설계된 2 개의 신중한 연구 A와 B가 있다고 가정 해보십시오. 그들은 동일한 실험으로 보이는 것을 수행하지만 반대의 결론에 도달합니다. 연구 A는 예측 된 현상을 생성하는 반면, 연구 B는 예측 된 현상을 생성하지 않습니다. 우리는 복제하지 못했습니다.
문제의 현상이 반드시 환상적이라는 것을 의미합니까? 절대적으로하지. 연구가 잘 설계되고 실행되면 연구 A의 현상이 특정 조건에서만 참이 될 가능성이 더 큽니다. 과학자의 임무는 테스트 할 새롭고 더 나은 가설을 세우기 위해 그러한 조건이 무엇인지 파악하는 것입니다. [더]
평결 : 반대.
에드 용 :
옥스퍼드 대학의 도로시 비숍 (Dorothy Bishop)은 트위터에서 처음 언급했듯이, 조건에 너무 정확하게 의존하는 결과를 얼마나 심각하게 받아들이 느냐는 질문을 던지기 시작했습니다. 특정 실험자의 보살핌하에 만 꽃을 피우며, 실험실 외부의 지저분하고 시끄럽고 혼돈스러운 세계와 얼마나 관련이 있습니까? [더]
게다가 연구자들은 연구를 가능한 정확하게 복제하기 위해 노력했기 때문에 의미있는 문맥 효과를 제거해야했습니다.
"좋아, 뉴스는별로 좋지 않다. 그러나 베이지안 렌즈를 통해 발견 된 결과를 살펴보면 처음 나타나는 것보다 조금 덜 겁니다 … "
평결 : 동의하십시오. Alex etz는 베이지안 접근법을 사용하여 연구 결과를 다음과 같이 설명했습니다.
- 강력한 복제 성공율 : ≈25 %
- 보통 수준의 복제 성공률 : ≈ 10 %
- 불확실 : 30 %
- 보통의 복제 실패율 : 20 %
- 강력한 복제 실패율 : 약 20 % [More]
마지막 단어
명확히하기 위해, 이것의 어느 것도 심리학이 과학으로서 무효이거나 그것이 유일하게 결함이있는 분야라는 것을 의미하지 않는다. 우리는 진전을 이루고 있으며,이 연구는 그 부분입니다. 우리는 우리 대부분이 생각한 것보다 더 멀리 나아갔습니다!
—————————-
이 문제에 대한 토론을 자극 한 동료 블로거 Robert King에게 감사드립니다.
똑같은 것만 다를수록 트위터에 나를 따라와.
