심리학의 연구 복제 문제
지금까지 100 명의 심리 검사 결과가 복제 시도를받는 재현성 프로젝트에 대해 많은 사람들이 의심의 여지가 없었습니다. 당신이 그것에 익숙하지 않은 경우에,이 프로젝트의 결과는 해당 분야의 연구에 대한지지를 얻는 것보다 적었습니다. 89 건의 복제가 있었고 37 건만 획득되었고 효과의 평균 크기가 크게 줄어 들었습니다. 특히 사회 심리학 연구는이 점에서 유일하게 나쁜 것처럼 보였다. 이것은 많은 경우에, 소금 곡식으로 많은 심리학 적 연구 결과를 얻을 수 있다는 것을 의미합니다.
당연히 이것은 많은 사람들로 하여금 효과가 실제로 있다는 것을 더 확신 할 수있는 방법이 있는지 의아해하게합니다. 자신감이 강화 될 수있는 한 가지 가능한 방법은 문제의 연구에 개념적 복제가 포함되어 있는지 여부입니다.
이것이 의미하는 것은 원고의 저자가 여러 가지 방법으로 동일한 기본 요소를 측정한다고 주장하는 몇 가지 다른 연구 결과를보고하는 경우입니다. 즉, 그들은 X, Y, Z 방법으로 주제 A를 연구하고 있습니다.이 모든 것이 긍정적으로 나타나면 효과가 실제로 더 확실하다는 것을 확신해야합니다. 실제로, 나는 하나의 실험만을 포함하기 위해 한 번 이상 거부 된 논문을 가지고있다. 저널은 종종 한 논문에서 여러 연구를보고 싶어합니다. 그 이유는 아마도 한 가지 실험이 여러 실험보다 확실하지 않을 수 있습니다.
복제 실패의 알려지지 않은 사회자 계정에 따르면, 심리학 연구 결과는 본질적으로 변덕스러운 경우가 많습니다. 일부 결과는 측정 시간, 샘플의 국가, 자극 물질의 특정 세부 사항, 실험자가 남성인지 여성인지에 따라 달라질 수 있습니다. 당신의 이름입니다. 다른 말로 표현하면 이러한 출판 된 효과가 실제로 가능할 수도 있지만, 우리가 충분히 인식하지 못하는 다소 특정한 상황에서만 발생합니다. 즉 그들은 알려지지 않은 변수에 의해 조절된다. 그렇다면 모든 복제 작업이 성공할 가능성은 희박합니다. 고유하고 알지 못하고 평가받지 못한 중재자 모두가 복제 될 가능성은 거의 없습니다. 이것은 개념적 복제가 나오는 곳입니다. 동일한 주제를 연구 할 때 두 가지, 세 가지 또는 그 이상의 다른 시도가 포함 된 종이라면 그 결과가 매우 제한된 상황을 넘어서고 복제해야한다고 기대해야합니다 더 쉽게.
- 초 인간적 마음
- 인터넷이 실제로 우리를 더 정직하게 만들 수 있습니까?
- 갈등이 위험 할 수도있는 조기 경고
- 좋은 기억 습관을 사용하여 기억력 향상하기
- Premies : 모성 터치에는 10 년 효과가 있습니다.
그것은 이러한 복제 실패를 설명하는 아첨하는 가설입니다. 사전 복제에 대한 복제가 충분하지 않기 때문에 제한된 결과가 일반화 된 것처럼 게시됩니다. 덜 평범한 가설은 많은 연구자들이 부정직 한 연구 전략을 사용하여 더 나은 단어가 부족하고 부정 행위를 범하고 있다는 것입니다. 이러한 전술은 데이터가 수집 된 후에 가설을 세우고, 데이터가 연구원이 원하는 것을 말한 다음 참가자를 수집 한 다음 차이를 발견 할 때까지 샘플을 다른 그룹으로 나누는 등의 방법으로 참가자를 수집하는 것만 포함 할 수 있습니다.
저널은 단지 부정적 결과보다는 긍정적 인 결과만을 발표하는 악명 높은 저널입니다 (속임수에 대한 큰 동기 유발, 그렇게하는 것에 대한 처벌은 단순히 데이터를 보완하는 것이 아닌 한 존재하지 않습니다). 사전에 조사 할 내용을 명시 적으로 명시해야하는 이유는 명백한 결과를 현저하게 나타냅니다. 연구가 속임수를 쓰고 있기 때문에 복제가 실패하면 외부 복제 (외부 당사자가 수행 한 복제)를 예측할 때 더 많은 내부 복제 (동일한 작성자의 복제)가 그다지 도움이되지 않습니다. 내부 복제는 단지 연구자들에게 사기 행각에 대한 여러 시도를보고 할 수있는 능력을 제공합니다.
이 두 가설은 전술 한 재현성 프로젝트의 데이터와 관련하여 다른 예측을한다. 구체적으로, 내부 복제를 포함하는 연구는 알려지지 않은 사회자 가설이 정확하다면 성공적으로 복제 할 가능성이 높아야한다. 여러 개념 복제가 단일 연구 논문보다 재현 가능할 확률이 더 적다면 "이 발견은 사실입니다"라는 관점에서 확실히 이상한 상태 일 것입니다. 복제 된 효과가 복제되지 않은 효과보다 나중에 복제 할 가능성이 없다고 말하는 것과 유사합니다. 대조적으로 속임수 가설 (또는 더 정중하게는 의심스러운 연구 관행 가설)은 내부 복제가 단일 연구 논문처럼 외부 적으로 복제 될 수 있다는 아이디어에 전혀 문제가 없다. 세 번이나 발견을 속이는 것이 그것이 한 번 부정 행위를하는 것보다 사실 일 가능성이 높다는 것을 의미하지는 않습니다.
- 어떤 사람들은 다른 사람들보다 더 똑똑하지 않습니까?
- 자녀가 수학을 배우는 데 도움이되는 강력한 도구
- 신체 활동이인지 유연성을 향상시키는 이유는 무엇입니까?
- 뚱뚱한 함정을 튀기다
- 포이즌 애플 II : 어떻게 스마트 폰 학습을 악화 시키는가?
이것은 Kunert (2016)가 재현성 프로젝트의 일부 데이터를 재검토 한 새로운 논문으로 나를 안내합니다. 100 개의 원본 논문 중 44 개는 내부 복제본을 포함하고 있습니다 : 20 개는 복제본 하나만 포함하고, 10 개는 두 번 복제하고, 9 개는 3 번 복제하고, 5 개는 3 개 이상을 포함합니다. 이것들은 내부 복제물을 포함하지 않은 56 개의 논문과 비교하여 (통계적으로 유의미한 결과를 얻음으로써 측정 된 것보다) 복제가 잘되는지를 확인했다. 결과적으로 내부 복제가있는 용지는 외부에서 약 30 % 복제되었지만 내부 복제가없는 용지는 외부에서 약 40 % 복제되었습니다. 내부 복제 된 서류는 그다지 좋지 않았을뿐 아니라 실제로는 약간 더 나빴습니다. 평균 효과 크기에 관해서도 유사한 결론에 도달했다. 내부 복제가있는 용지는 그러한 복제가없는 용지에 비해 더 큰 효과 크기를 포함 할 가능성이 더 이상 없다.
물론 내부 복제를 포함하는 논문은 그러한 복제를 포함하지 않는 논문과 다를 수 있습니다. 이것은 내부 복제가 실제로 좋은 일일 수도 있지만, 그 긍정적 인 효과가 다른 부정적인 요소보다 더 중요하다는 것을 의미합니다. 예를 들어, 특히 새로운 가설을 제시 한 사람은 기존의 논문을 연구하는 누군가보다 자신의 논문에 더 많은 내부 복제물을 포함시키는 경향이있다. 후자의 연구원은 다른 연구에서 그 효과가 이미 복제 되었기 때문에 그의 논문에서 더 많은 복제물을 출판 할 필요가 없다.
이 점을 검토하기 위해 Kunert (2016)는 연구 분야, 효과 유형, 원래 P- 값, 원래 효과 크기, 복제력, 독창적 인 효과의 놀라움 및 도전 과제와 같은 공개 과학 협업에서 확인 된 7 가지 재현 가능성 예측자를 사용했습니다 복제를 수행하는 것 – 내부 복제 된 작업이 내부적으로 복제되지 않은 샘플과 다른 주목할만한 방식으로 다른지 여부를 평가하는 것. 결과적으로 두 가지 샘플은 하나의 분야를 제외한 모든 요소에서 전반적으로 매우 유사했습니다. 내부적으로 복제 된 효과는인지 심리학 (54 %)보다 사회 심리학에서 더 자주 (70 %) 나오는 경향이있다. 앞서 언급했듯이 사회 심리학 논문은 복제 빈도가 적습니다. 그러나 알 수없는 중재자 효과는 개별적으로 조사 할 때 어느 필드에서나 잘 지원되지 않았습니다.
요약하면, 내부 복제를 포함하는 논문은 외부 복제에 관해서는 더 잘 할 수 없었습니다. 내 생각에, 어딘가에서 그 과정에서 어떤 것이 아주 잘못 될 것이라고 제안합니다. 아마도 연구자들은보고 싶은 결론을 내릴 수 있도록 데이터를 분석하고 수집하는 자유를 활용하고 있습니다. 아마도 저널은 행운을 얻은 사람들의 발견을 우선적으로 출판하고 있습니다. 물론 이러한 가능성은 상호 배타적이지 않습니다. 이제 저는 개념적 복제가 포함 된 논문이 단 한 번의 연구만으로 다른 논문과 비교해 다른 일을 할 가능성이 더 높습니다. 이는 잠재적으로 제공되는 힘의 부족을 설명 할 수 있습니다. 내부의 복제에 의해, 그리고 그 "무언가"가 무엇이든간에 현재의 논문에서 고려 된 변수에 의해 직접적으로 두드리지 않을 수도있다. 본질적으로 그러한 주장은 알 수없는 사회자가 줄곧 있음을 암시합니다.
그러한 설명이 현재 결과에 의해 배제되지 않는 것은 사실이지만,이 연구가 왜 복제되지 않는지에 대한 어떠한 기본 태도로 받아 들여서는 안됩니다. "표면적으로 복제 된 종이가 복제하는 것이 왜 더 좋지 않은지에 대한 다른 많은 명백한 설명이 없다는 것을 감안할 때,"연구원은 속이고있다 "는 설명은이 단계에서 좀 더 그럴듯한 것으로 나를 공격합니다. Kunert (2016)가 명백하게 말한 것처럼
이 보고서는 심리 과학에 대한 광범위한 변화없이 비공식적 인 관찰, 일화 및 추측과 구별하기가 어려울 것이라고 제안합니다.
이것은 우리가이 문제에 관해 무엇이 될지에 대한 문제를 제기합니다. Kunert (2016) 저널이 결과와 관계없이 논문을 출판하도록 권장하는 것과 같이 문제를 해결하기위한 절차 적 방법이 있습니다. 그러나 저의 초점은 출판의 이론적 측면에 있으며 앞으로도 계속 될 것입니다. 심리학 논문이 너무 많아 연구자가 의미있는 의미에서 연구 결과를 설명 할 필요가 전혀없이 출판됩니다. 대신 그들은 대개 자신의 연구 결과를 다시 말하고 레이블을 붙이거나 발견 한 내용 (예 : "X는 사람들을 기분 좋게 만든다"또는 "자기 통제 작업은 무거운 신진 대사 저하")에 대해 생물학적으로 불합리한 기능을 나타냅니다. 심리 연구에 진화론을 진지하고 일관되게 적용하지 않으면, 그 결과가 계속 나타나고 복제가 실패하게됩니다. 그렇지 않으면 발견이 합리적인지 여부를 알 수있는 방법이 거의 없기 때문입니다. 이와는 대조적으로, 동일한 이론적 틀 내에서 검토 자, 독자 및 복제 자에 의한 가능성이 적은 효과를보다 분명하게 발견 할 수 있다는 것이 그럴듯한 것으로 나타났습니다. 더 나은 점은 디자인의 문제점을 근본적인 기능 논리를 고려하여보다 쉽게 확인하고 수정할 수있어 생산적인 미래 연구가 가능하다는 것입니다.
참고 문헌 : Kunert, R. (2016). 내부 개념 복제는 독립적 인 복제 성공을 증가시키지 않습니다. 심리적 게시판 검토 , DOI 10.3758 / s13423-016-1030-9
