카운트 히트; 미스가 아니라
우리 삶의 여러 시점에서, 우리는 누군가가 어떻게 자신의 인생을 조금 돌아 보았는지에 대한 일화를 읽거나 이야기했습니다. 이 중 일부 (또는 적어도 그 변형)는 익숙한 듯합니다. "나는 식단에서 빵을 잘라 내고 갑자기 훨씬 더 기분이 좋았습니다." "Amy는 가정에서 다이어트 약을 온라인으로 판매하는 일을했습니다." "의사가 내게 무엇이 잘못되었는지를 알 수 없게 된 후에, 나는이 차를 마시기 시작했고 갑자기 감염이 끝났습니다." 그러한 이야기의 요점은 (1) 빵을 먹으면 기분이 나빠지는 것, (2) 다이어트 약을 판매하는 것이 돈을 벌 수있는 좋은 방법이라는 점, (3) 차가 유용하다는 점 감염 퇴치를위한 이러한 진술 중 일부 또는 전부는 사실 일 수 있지만 이러한 이야기의 실제 문제는 데이터가 기반이되는 데이터의 부족입니다. 당신이 그 진술에 대해 더 확신하고 싶다면, 당신은 더 많은 정보를 원한다. 확실한; 그 차를 마시고 나면 기분이 나아 졌을 지 모르지만 비슷한 차를 마시고 결과가없는 다른 10 명은 어떨까요? 어쩌면 사기이기 때문에 첫날부터 재정적 인 구멍에 있었고 결코 기어 다니지 않은 다이어트 약을 판매하는 다른 사람들은 어떻습니까? 이러한 진술의 진리 값을보다 가깝게 이해하려면 데이터 전체를 고려해야합니다. 성공 이야기와 실패 이야기. 그러나 부자가 다이어트 약을 판매하지 않는다는 이야기는 움직이지 않는 것이므로 하루의 빛을 보지 못합니다. 적어도 초기에는 아닙니다. 이 일화의 일면은 몇 년 전 The Onion에 의해 밝혀졌습니다 (그리고 Clickhole은 최근에 자신의 테이크를 가지고있었습니다).
이러한 일화는 실패한 사례 (무시)를 무시하면서 성공 사례 (조회수)에 주목하여 종종 스포트라이트를 표시하여 상황이 어떻게 진행되는지 편견을 갖게합니다. 그들은 우리를 진리에 더 가깝게하지 않습니다. 심리학 연구를 만들고 소비하는 대부분의 사람들은 심리학자들이 이러한 종류의 일화를 뛰어 넘고 마음이 어떻게 작동하는지에 대한 유용한 통찰력을 얻게된다고 생각하고 싶습니다. 그러나 최근에 그들이 얼마나 더 많이 평균에 가는지에 대해 많은 우려가 제기되었습니다. 주로 재현성 프로젝트의 결과 때문입니다. 심리학 연구가 수행되는 방식에 관해서는 여러 가지 문제가 제기되어왔다. 특정 정치 및 사회적 지위에 대한 옹호 (실험 설계 및 통계 해석을 왜곡하는 방식) 또는주의를 끌기 위해 데이터가 조작되거나보고되는 선택적 방법 실패한 예측을 인정하지 않고 성공적인 데이터. 결과는 꽤 많은 가양 성이었고 과장된 실제적인 것들이 문학에서 자랐습니다.
이러한 우려는 보증되지만 문제의 정도를 정량화하는 것은 어렵습니다. 어쨌든 극소수의 연구자들이 자신의 실험이나 데이터를 조작하여 자신이 원하는 결과를 찾을 수 있다고 말하면서 (a) 자신의 직업을 해칠뿐 아니라 (b) 경우에 따라서는 그들은 그것을하고 있거나 그들이하는 일이 잘못되었다는 것을 알게됩니다. 더욱이, 대부분의 심리학 연구는 사전 등록되지 않았고 널 (null) 연구 결과가 보통 발표되지 않기 때문에, 연구자가 발견하기를 희망했던 것이 무엇인지 알아내는 것은 문헌을 읽는 것만으로는 어려운 사업이되었다. 고맙게도, Franco et al (2016)의 새로운 논문은 과소보고가 얼마나 진행되고 있는지에 대한 자료를 제공합니다. 이 데이터는 어떤 수단으로도 표본의 최종 단어가되지는 않지만 (대부분 표본 크기가 작기 때문에) 올바른 방향으로 몇 가지 단계를 제공합니다.
Franco et al (2016)은 앙케이트와 자료가 공개적으로 이용 가능한 일련의 심리학 실험을보고했다. 구체적으로 말하자면, NSF 프로그램 인 NSF 프로그램 인 사회 과학 (TESS)의 시간 공유 실험 (Time-sharing Experiments for the Society)은 전국적인 인구 조사에 온라인 실험이 포함되어있는 프로그램입니다. TESS를 사용하는 연구자들은 그들이 물을 수있는 질문의 수에 엄격한 제한을두고 있습니다. 즉, 이론적으로 의미있는 질문으로 질문을 제한해야한다는 것을 의미해야합니다. 다시 말해서, 우리는 연구자들이 각각의 실험 조건과 결과 측정법에 대해 테스트하기를 희망하는 몇 가지 구체적인 예측을했고, 실제로 이러한 예측은 실제로 데이터를 얻는 것보다 앞당겨 졌다는 것을 확신 할 수 있습니다. Franco et al (2016)은 실험적 조작과 결과가 무엇인지,보고되지 않았는지 확인하기 위해 최종 출판 된 버전으로 TESS 연구를 추적 할 수 있었다. 이로써 저자는 편견을보고하기 위해 32 개의 semi-preregistered 심리학 실험 세트를 제공했습니다.
- 긴 수명의 비밀. 아니면 아닐 수도 있습니다.
- 걱정을 괴롭히는 괴물 : 불안에 대한 반 직관적 인 접근법을 없애라.
- 낙관주의의 위험
- 감정적 인 수하물을 빠져 나갈 빠른 방법이 있습니다.
- 더블 바인드 : 록앤 하드 플레이스 포스 자발적인 변화
첫 번째 단계는 TESS 연구에있는 실험 조건과 결과 변수의 수를 출판 된 원고에서 궁극적으로 나타난 숫자와 비교하는 것입니다 (즉, 작성자가 수행 한 내용과 측정 한 내용을보고하는 것). 전반적으로 TESS 연구의 41 %는 실험 조건 중 적어도 하나를보고하지 않았습니다. 연구에서 평균 2.5 건의 실험 조건이 있었지만 출판 된 논문은 평균 1.8 건을 언급했다. 또한, 논문의 72 %가 모든 결과 변수를보고하지 못했습니다. 설문지에는 평균 15.4 개의 결과 변수가 있었지만 발표 된 보고서에는 10.4 개를 모두 언급했는데 실험의 약 1/4 만 실험 한 내용과 측정 한 내용을 모두보고했습니다. 당연히이 패턴은보고 된 효과의 크기까지 확장되었습니다. 통계적 유의성의 측면에서보고 된 p 값의 중간 값은 유의미했다 (.02),보고되지 않은 p 값의 중간 값은 0.32가 아니었다. 보고 된 테스트의 3 분의 2는 중요했으며,보고되지 않은 테스트의 1/3만이 중요했습니다. 마지막으로, 발표 된 효과 크기는보고되지 않은 것보다 약 두 배 큰 것입니다.
종합 해보면, 심리학 연구는 실패한 실험 조작, 펼쳐지지 않은 조치, 그리고 더 작은 영향을 과소보고하는 경향이있다. 이것은 심리학 연구자 또는 연구 결과 자체를 게시하려고 시도한 연구자 자신에게 많은 시간을 보낸 거의 모든 사람들에게 놀랄 일이 아니어야합니다 (사실, 거의 모든 것을 게시하려고 시도했습니다). 데이터는 종종 엉망이며 비협조적입니다. 사람들은 제대로 작동하지 않는 것에 대해 읽는 것에 덜 관심이 있습니다 (적절한 상황에 놓여 있지 않는 한 효과를 찾지 못하는 것이 실제로 의미있는 것으로 간주 될 수 있습니다. 이론에 대한 증거를 제공하려는 시도). 그럼에도 불구하고, 상당히 큰 규모 인 것으로 보이는 그러한 선택적보고의 결과는보고 된 심리학 연구의 전반적인 신뢰도가 한 번에 한 단계 낮아지는 것을 의미합니다.
그렇다면이 문제에 대해 무엇을 할 수 있습니까? 연구원이 진행할 분석을 명확히하고 그들이 수행 한 예측이 무엇인지를 분명하게 밝혀야한다는 전망이 연구자가 던지려는 한 가지 제안입니다. 이것은 현재의 데이터에서 (일종의) 것이고 Franco et al (2016)은이 옵션을 추천합니다. 이를 통해 사람들은 출판 된 계정에 의존하지 않고 연구를 전체적으로 평가할 수 있습니다. 그게 좋은 제안이지만, 문학의 상태를 개선하는 데에만 도움이됩니다. 특히, 처음에는 null 결과를 게시하지 않는 저널의 문제점을 실질적으로 도움이되지 않으며 연구자가 데이터의 사후 분석을 수행하거나 추가 위양성을 나타내지 못하게하는 것도 아닙니다. 마음에 떠오르는 이러한 문제를 완화하기위한보다 야심 찬 방법은 저널이 출판을 위해 논문을 수락하는 방식을 공동으로 변경하는 것입니다. 이 대체 시스템에서 연구자는 연구가 수행되기 전에 논문의 개요를 저널에 제출하여 (a) 조작 방법, (b) 결과 측정 방법, (c) 통계 분석 그들은 수행 할 것입니다. 연구원이나 저널이 결과가 무엇인지 알기 전에 종이를 출판할지 여부는 결정됩니다. 이로써 Null 결과가 주류 저널로 진입 할 수있게되고, 일이 잘 풀리지 않으면 연구자가 자신의 이력서를 작성할 수있게됩니다. 본질적으로, 그것은 연구원들이 통계적으로 속일 수있는 인센티브를 제거합니다. 그런 다음 저널의 평가는 흥미로운 결과가 출현 한 것이 아니라 충분히 중요한 연구 질문이 제기되었는지 여부에 기초 할 것입니다.
그러나 그 제안에는 몇 가지 단점이 있습니다. 하나를 위해, 계획은 모두가 선상에 있더라도 제정하기 위해 약간의 시간이 걸릴 것입니다. 저널은 실제로 완성 된 논문보다 수주 또는 수개월 전에 논문을 수락해야합니다. 연구자가 때때로 연구를 적시에 완료하지 못하거나 출판의 가치가없는 하위 논문을 제출하지 않아 출판 간극이 생길 수 있기 때문에 저널에 대한 몇 가지 추가적인 복잡성이 제기 될 것입니다. 더욱이, 때때로 저널의 한 문제가 심리학 분야의 주요 발전을 포함하지 않고 (아무도 이번에 아무 것도 발견하지 못했음), 문제의 저널의 영향 요인에 부정적인 영향을 줄 수 있음을 의미합니다. 사실, 그 마지막 부분은 아마도 현재 시행되고있는 출판 시스템에 대한 대대적 인 재정비를 만드는 데있어 가장 큰 장애물 일 것입니다 : 대부분의 심리학 연구는 아마도 그 모든 것을 잘 수행하지 못할 것이며 궁극적으로는 읽는 것에 관심이있는 사람이 더 적을 것이라는 것을 의미 할 것입니다 그것. 가능하다면, null 결과가 실제로는 긍정적 인 것과 비슷한 비율로 인용 될 것이고 그 정보는 부재 한 상황에서 저널이 정책을 변경하고 복용하는 데 크게 관심이 없다고 생각할 것입니다 그 위험.
참고 문헌 : Franco, A., Malhotra, N., & Simonovits, G. (2016). 심리학 실험에서 부족한보고 : 연구 등록기구에서 얻은 증거. 사회 심리학 및 인격 과학, 7 , 8-12.
