심령 결과의 2/3가 최고 학술지에 올라 있습니다.
최고급 아울렛에 대한 연구는 재현 가능성에 대한 우려에서 면제되지 않습니다.
출처 : VikiVector / Shutterstock
Science and Nature 지에 게재 된 21 개의 실험 심리학 연구 결과를 반복적으로 연구 한 과학자 팀이 13 개를 복제 할 수있었습니다.
심리학은 신뢰할 수없는 결과로 이어지는 문제의 관행을 인식하고 개혁하려는 운동의 맹렬한 노력을 기울여 왔습니다. 가장 존경받는 저널의 통찰력은 새로운 과학적 발견을보다 신뢰할 수있게하는 정책을 계속 실행하는 것이 중요하다는 것을 보여주는 이러한 장애물에 면역되지 않습니다.
“우리는 모두 직관력이 떨어지는 놀라운 결과를 얻기 위해 노력할 것입니다. 그것은 과학에서 나쁜 것이 아닙니다. 과학이 경계를 깨는 이유입니다. “라고 연구의 수석 저자이자 University of Virginia의 심리학 교수 인 Brian Nosek이 말했다. “핵심은 그 불확실성을 인식하고 받아들이고 있으며, 어떤 것이 잘못 되었다면 괜찮습니다.”지난 주 웹 컨퍼런스에서 지적한 바에 따르면, “우리는 지난 주 웹 컨퍼런스에서 다음과 같이 설명했다. 우리가 처음부터 복제하지 못했기 때문에 그들을 괴롭히기보다는 오히려 거짓 리드를 확인했다 “고 말했다.
국제적인 과학자 팀은 2010 년과 2015 년 사이에 과학과 자연에 게시 된 모든 사회 과학 논문을 검토했습니다. 그들은 실험적인 개입을 포함하여 상당한 결과를 얻었고 일련의 참가자들에 대해 수행 된 연구의 하위 집합을 복제 할 계획이었습니다.
팀은 실험 설계를 최대한 가깝게 재창조했으며 원래 작성자와 함께 작업했습니다. 그들은 또한 과학의 신뢰성과 투명성을 높이기 위해 고안된 시스템 인 Open Science Framework에 연구 프로토콜, 디자인 및 분석을 등록했습니다. 연구 결과는 원래보다 5 배 더 많은 사람들이 각 연구를 실시하여 조사가 어떤 실험 효과를 감지하는 데 특히 민감합니다.
팀은 연구 결과 13 개 (62 %)를 성공적으로 복제했습니다. 나머지 8 개의 연구는 복제하지 못했습니다. 과거의 복제 이니셔티브는 다양한 결과를 산출했으며 팀은 심리학의 재현율이 현재 35 ~ 75 %라고 추정합니다. 과학자들은 또한 실험 효과의 강도가 원래의 연구의 절반 정도임을 발견했습니다. 결과는 Nature Human Behavior 저널에 오늘 발표되었습니다 .
많은 부분들이 복제 문제에 기여했습니다. 과학자들은 일반적으로 실험 데이터를 분석하는 방법에 유연성을 가지고 있으며, 다른 접근법을 시도함으로써 의식적으로 또는 무의식적으로 통계적 유의성에 대한 임계 값에 대한 결과를 찔러 낼 수 있습니다. 연구원은 결과를 본 후에 가설을 바꿀 수도 있는데, 이는 중요한 설화 결과를 강요하는 내러티브로 짜는 효과가 있습니다. 데이터를 사용할 수있게 만들 필요가 없으므로 의심스러운 행동이 확인되지 않을 수 있습니다. 아마도 가장 중요하게도 과학자와 저널 편집자는 신뢰성을 확보하기 위해 이전 결과를 복제하는 대신 가능한 한 많은 새롭고 화려한 결과를 발표 할 것을 장려합니다.
이러한 요소는 새로운 결과를 가져오고 오히려 높은 비율로보고되는 강력한 영향을 미칩니다. 이것은 효과의 평균 크기가 복제 된 연구에서 원래의 것보다 절반 컸다는 사실에 의해 설명됩니다. 오레곤 대학 (University of Oregon)의 심리학 교수 인 산 제이 스리 바스타 바 (Sanjay Srivastava)는 “이것은 복제에서 매우 일관된 주제이다. “때때로 연구가 오버 슛하고 때로는 언더 슛을하면 50/50이어야합니다. 그러나 그 모든 경우에 있지 않습니다. ”
팀은 또한 심리학자가 견고하고 엄격한 결과를 감지 할 수 있는지 여부를 알아보기위한 실험을 고안했습니다. 200 명의 연구자 그룹이 연구가 정찰에 부딪치게 될지 여부를 결정했습니다. 연구가 정확하게 복제 할 확률은 21 개 연구 중 18 개 결과를 예측했습니다.
켄터키 대학 (University of Kentucky)의 심리학 부교수 인 제르 베 (Gervais)는 웹 커뮤니티에서 “공동체로서 우리는 복제 할 내용에 관해서 어둠 속에서 완전히 걸려 넘어지는 것은 아닙니다. “사람들이 피킹하고있는 패턴을 알아보기 위해 동료 리뷰어를 훈련시킬 수 있습니다. 그런 식으로 거짓말을하기 전에 문명을 오염시킬 수 있기를 바랍니다. ”
Gervais는 복제에 실패한 연구 중 하나를 저술했습니다. 이 논문은 2012 년 Science 에 발표되었으며, 분석적 사고가 종교에 대한 믿음을 억압 한 것으로 나타났습니다. 당시 신뢰성 강화에 대한 우려는 아직 그 분야에 스며 들지 못했습니다. 이제 그는 실험이 상당히 약하고 자신의 경력을 통해 다른 아이디어를 고수하지 못했다는 것을 알고 있습니다.
“우리의 연구는 완전히 바보 같았습니다. Gervais는 우리가 복제 가능성을 심각하게 생각하기 시작하기 전에는 매우 작은 [참가자 수] 였고, 그 과정에 대해 거의 유의하지 않은 수준이었습니다. “라고 Gervais는 말했습니다. “전체 복제 가능성 운동에서 나오는 가장 좋은 것 중 하나는 리뷰어와 편집자가 처음 게시하고 승인해야하는 것에 대해 더 잘 알고 있도록하는 것입니다.”
이 분야는 새로운 연구의 신뢰성을 강화하기 위해 먼 길을왔다. 해결책은 많은 사람들에 대한 실험을 실시하고, 통계적 중요성에 대한 엄격한 기준을 설정하고, 데이터를 공개적으로 사용할 수있게하고, 복제 노력을 계속하고, 실시하기 전에 연구 계획을 공개적으로 사전 등록하는 것입니다. 긍정. Open Science Framework는 2012 년에 만들어졌으며 현재 Open Science Center의 전무 이사 인 Nosek에 따르면 2 만 개가 넘는 연구 등록이 포함되어 있습니다. 이 비율은 창안 이래 매년 두 배가되었습니다.
Srivastava는 “이 연구는 저널을 계속 업데이트하여 정책을 업데이트하고 인센티브를 변경함으로써 과학자들이 이러한 사례에 대해 더 많은 보상을받을 수있는 좋은 동기입니다. “차가 멈 추면 차를 밀 때와 같다. 차는 움직이고 있지만 계속 밀고 나가야합니다. 그렇지 않으면 멈출 것입니다. ”