가장 많이 발표 된 사회 심리 결과는 거짓입니까?
아무도 더 이상 믿을 것이 없기 때문에 사회 심리는 위기에 처해 있습니다. 실패한 프라이밍 복제 실패 후 저널은 실패한 프라이밍 복제로 채워집니다. (평신도 독자를 위해, 뇌관은 어떤 생각, 개념, 신념, 태도 또는 가치를 어떤 식 으로든 만들면, 그것은 당신의 인식에서 완전히 벗어난 방식으로 후속 인식과 행동에 전반적으로 영향을 미칠 수 있다는 생각을 나타냅니다. 사회 심리학에서 "자동성"으로). 뇌졸중 연구는 사회 심리학에 큰 영향을주었습니다. 왜냐하면 발표 된 연구 결과에 따르면 세계가 변화하는 뇌관 류의 놀라운 영향이 나타났기 때문입니다. 프라이밍은 종종 의식 밖에서 발생하기 때문에 사람들은 대부분 그들이하는 일을 왜하는지 알지 못한다는 것을 보여주었습니다. 놀랄 만한! 그리고 그것이 빨대 주장이라고 생각한다면, 참을 수없는 자동의 존재로 되돌아가보십시오 (평신도 독자라면 Google 학술 검색에서 바로 찾으십시오).
노인의 고정 관념을 초토화하면 사람들은 천천히 걷게됩니다. 돈을 모으는 것으로 사람들이 덜 기꺼이 도움을 받았다. 매력적인 여성들에게 남성을 노출 시키면 위험을 무릅 쓰고 눈에 띄는 소비가 증가하게되었습니다. 사람들은 (자신의) 통제를 벗어났습니다! 강력한 독단적 인 비언어적 위치 ( "파워 포즈")를 채택하면 자신감과 사람들이 당신을 어떻게 대하는 방식을 개선하여 인생을 향상시킬 수 있습니다. 그러나이 발견들과 훨씬 더 많은 것들은 복제하기가 충분히 어렵다는 것을 증명했습니다. 많은 과학자들이 지금은 그것들을 기껏해야 의심스럽게 생각합니다.
그리고 문제는 초벌 연구의 실패한 복제를 넘어서게됩니다. 위협 제거 및 흑백 테스트 점수가 동일하다는 것을 보여주는 것으로 널리 해석되는 스테레오 타입 위협 연구는 실제로 그러한 것을 보여주지 못했습니다. 인종 편견의 존재를 보여주는 것으로 널리 해석 된 암묵적 편견 연구는 편견 (0 점 이상)을 반영한다고 추정되는 암시 적 연관성 시험 점수는 일반적으로 많은 차별적 행동에 해당한다는 것을 보여주지 못했습니다 (적어도 한 연구에서 평등 주의적 행동에 해당). 다르게 말하자면, 사회 심리학에서 가장 유명하고 가장 영향력있는 효과, 특히 지난 20 년 동안 얻은 효과 중 일부는 복제가 실패한 후 실패한 복제로 의심스러운 방법론, 통계 및 해석적인 계시 관행.
그리고 그것은 나아지기 전에 더 악화됩니다.
파트 I : 사회 심리학의 (Ir?) 복제 가능성
"대부분의 사회 심리가 거짓"이라는 주장에 대한 가장 강력한 증거 중 하나는 사회 심리학을 비롯한 여러 심리학 분야에서 2008 년에 발표 된 연구를 조사한 단일 논문 (Open Science Collaboration, 2015 Science)에 있습니다.
그 논문은 두 개의 최고 사회 심리 저널 (Journal of Personality and Social Psychology and Psychological Science)에 발표 된 52 개의 연구를 복제하려고 시도한 여러 연구실 간의 협력이었습니다. "성공적인 복제"로 간주되는 것은 그 자체가 정착 된 과학이 아닙니다. "효과가 실제로 있다는 증거"로 간주되는 것은 정착 된 과학이 아닙니다. 그래서 그들은 여러 가지 방법을 사용했습니다. 기준에 따라 연구의 25 ~ 43 %가 복제되었거나 진정한 효과를 나타 냈습니다.
- 심리학 이론이란 무엇인가?
- 우리 시대의 위기 : 실내 생활의 상실
- 좋은 성적 이상 변화에 대한 믿음
- 너무 늦기 전에 사이버 괴롭힘 피해자를 찾는 방법
- 가난한자를 훔쳐서 부유 한 자에게 줘라.
지금까지 "이것은 대부분의 사회 심리 결과가 거짓"이라고 생각됩니다. 이것은 매우 안전한 근거에 있습니다. 그리고 그럴 수도 있습니다. 그러나 나는이 대규모 복제 연구로 일반적인 결론이 정당하다고 생각하지 않는다.
2 부 : OSC 2015는 훌륭한 연구이지만 그것을 과장하지 마십시오.
OSC가하지 않은 핵심 것은 다음과 같은 추측을 렌더링합니다. "대부분의 사회 심적 결과는 거짓"입니다.
그들은 사회 심리학 연구 (1950 년 또는 1970 년 또는 심지어 1990 년 이후)의 집단을 임의로 선택하지 않고 복제하려고 시도했다.
대신 그들은 먼저 복제 시도를 2008 년으로 제한했습니다. 그런 다음 연구의 하위 샘플을 만들었습니다 (예 : 심리 과학에서 처음 발행 된 20 개의 논문). 그런 다음 복제 팀은 복제를 시도 할 논문을 선택할 수있었습니다. 일반적으로 설계 상 다중 검사 보고서의 마지막 연구가 복제 시도를 위해 선택되었습니다. 그러나 Science 지에 게재 된 보고서에서 복제 팀이 복제 할 용지를 선택하는 방법을 알 수 없습니다. 불균형 적으로 팀이 복제 할 가능성이 거의 없다고 생각하는 연구 논문을 선택했을 가능성이 있습니다 (아직 수행하지 않은 복제본의 공동 작성자 100 명을 조사하는 방법을 알 수있는 방법이 없습니다). 최소한, 이것은 배제 할 수 없습니다.
그럼에도 불구하고 장기간에 걸친 연구의 선천적 인 무작위 표본 추출이 없다면이 논문을 바탕으로 사회 심리의 재현 가능성에 대한 일반적인 결론을 내릴 수 없다. 지옥,이 신문에서 2008 년에 출판 된 사회 심리의 복제 가능성에 대한 분명한 결론에 도달하지 못합니다.
물론 이러한 제한이 사회 심리가 안전한 근거에 있다는 것을 의미하지는 않습니다. 그렇다고 사회 심리학을 대표하지 못하는 결과를 제공 한 것으로 연구가 결정된 것은 아닙니다. 확실히 복제하기 어려운 많은 자료가 게시되고 있음을 의미합니다.
파트 III : 효과가 사실로 알려진 경우에도 사회 심리학의 복제가 어렵다.
Jon Krosnick은 스탠포드의 사회 심리학자 / 정치 과학자로서 사회 과학 분야 최고의 설문 조사원 중 하나로 국제적으로도 인정 받고 있습니다. 한 때 그는 수십 년 동안 계속 되어온 정치적 견해에 대한 전국적인 대표적인 조사 인 미국의 선거 연구를 이끌고 NYTimes에서 일상적으로 나타나며 그의 작품에 대해 수많은 상을 수상했습니다.
몇 년 전, 그는 거의 10,000 명의 사람들에 대한 조사 데이터를 수집했습니다. 일련의 잘 알려진 조사 효과는이 큰 표본에서 통계적으로 유의미한 것으로 나타났습니다 (예 : 주문 효과, 묵인 등). 통계적으로 유의미한 하위 시료가 동일한 효과를 나타낼 빈도를 결정하기 위해 약 500-1000 명의 사람들의 시료를 검사했다.
연구중인 현상이 일반적으로 큰 샘플에서 중요하다는 사실에도 불구하고, 서브 샘플은 효과의 중요한 증거가 시간의 절반 만에 있음을 발견했습니다 (분석은 아직 진행 중이며 각 현상에 대한 정확한 복제 횟수는 변경 될 수 있음). 50 % "복제"번호가 최종 분석 대기 중일지라도, 이것은 큰 샘플의 경우에도 복제의 어려움을 말하고 의심스러운 연구 사례가 전혀없는 경우에도 마찬가지입니다.
그것은 어떤면에서 좋은 소식입니다. 예를 들어, 더 작은 표본 연구가 시간의 30 % 또는 40 % 만 복제 할 때, 반드시 문제가되는 사례가 만연하다는 증거는 아닙니다. 샘플링 변동성 및 상황의 사소한 변화 (예 : 다른 주 또는 국가에서 수행됨) 또는 절차의 큰 효과에 대한 증거 일 수 있습니다. 그리고 더 좋은 소식이 있습니다. Krosnick 팀의 예비 결과에 따르면 큰 영향을 미쳤다는 증거가 있는지 여부에 관계없이 연구의 약 80 %가 서로 크게 다르지 않았 음을 알 수 있습니다. 최종 집계가 71 % 또는 93 % 또는 80 %인지에 관계없이 다시 복제 수준이 상대적으로 높습니다.
왜 이것이 중요한가? 그것은 표본 변동성의 모호성이 실제 효과를 탐지하는 것을 어떻게 어렵게 만들 수 있는지를 보여줍니다. 그것은 또한 아마도 우리는 발견이 얼마나 자주 복제 될 필요가 있는지에 대한 우리의 이해를 재검토 할 필요가 있으며, 믿을 수있는 발견과 믿을 수있는 발견을 어떻게 구별 할 수 있을지를 의미합니다. 많은 과학자들이이 문제를 해결하기 위해 노력하고 있으며, 그렇지 않은 것에서 신뢰할 수있는 것을 알아 내기위한 완전히 새로운 통계 도구를 개발했습니다 (p 곡선, 복제 색인, 게시 편향을 식별하고 제어하기위한 통계 테스트 등). 그러나 대부분의 방법은 충분히 새롭기 때문에 어떤 작업이 가장 좋은지 알기까지는 다소 시간이 걸릴 것입니다.
제 4 부 : 사회 심리의 재현성
사회 심리학의 일부 영역은 혼란 스럽습니다. 특히 "사회적인 뇌관 (social priming)"을 포함하는 것 (기사에 대한 링크는 다양한 프라이밍 위기와 복제 실패에 대한 논의를 참조하십시오). 나는 모든 사람들이 거짓말이라고 말하는 것이 아니라, 드문 경우를 제외하고 어떤 사회적인 프라이밍 효과가 믿을 만하고 그렇지 않은지를 모른다. 인지 초벌은 혼란이 아닙니다. 인지 심리학에서인지 초벌 작업에 대해 오랫동안 우수하고 쉽게 복제 가능한 작업이있었습니다. 단어 "검은 색"에 노출 된 후 사람들은 "검은 색"(예 : "녹색"또는 "신성 모독"과 같은 다른 단어와 비교)이라는 단어의 후속 발표를 더 빨리 인식합니다.
30 년 넘게 내 연구실에서 다음과 같은 현상을 반복했습니다.
- 스테레오 타입은 개인에 대한 정보가 부족할 때 (스테레오 타입 카테고리 회원이 아닌) 사람들이 개인을 판단하는 방법에 편향됩니다.
- 사람들은 개인의 특성 (성격, 성취, 행동 등)에 관한 관련 정보가있는 경우 자신의 개인적 특성에 따라 개인을 엄중하게 판단하고 고정 관념을 거의 무시합니다.
- 많은 인구 통계 학적 고정 관념에서 보통 수준에서 높은 수준의 정확도
- 큰 5 가지 성격의 자기보고 기준에 대해 평가할 때 국가의 고정 관념에 널리 퍼진 부정확성
- 교사의 기대는 교실에서 자기 충족 성 예언을 낳습니다. 그러나 이러한 효과는 약하고 깨지기 쉽고 일시적인 경향이 있습니다 (거의 다른 연구자가 이런 방식으로 설명하지는 않지만 실제로 발견 한 것을 보면 거의 모든 사람들이 가지고있는 것입니다). 실제로 발견됨).
- 교사의 기대는 대부분 학생 성취도를 예측합니다. 왜냐하면 그러한 기대치는 자기 충족 성이 아니라 정확하기 때문입니다.
- 그럼에도 불구하고, 교사의 기대는 또한 학생들에 대한 자신의 평가를 겸손한 정도에 편향시킨다.
- 치명적 특권은 반유대주의를 증가시킵니다.
- 자기 일관성은 성과 피드백에 대한인지 반응을 지배한다. 자기 개선은 성과 피드백에 대한 정서적 반응을 지배한다.
- 기본적인 귀인 오류
- 셀프 서비스 편향
- 정치적 동기 유발 확인 편견
나는이 현상을 발견하지 못했다. 그래서 내 복제물은 그 현상이 진짜라는 독립적 인 증거를 구성합니다. 그러나 이들 중 어느 것도 직접 복제가 아닙니다. 현대 말로 표현하자면, 모두 개념적 복제였습니다. 사실, 이러한 구별은 내가 그 연구를 실시했을 때 내 마음에 그 자체가 아니 었습니다. 25 년 전 (또는 15 년 또는 심지어 5 년) 아무도 직접 복제와 개념 복제에 대해 이야기하지 않았으며, 다른 연구에서 현상을 발견했다는 것을 당연시하며, 다른 연구 노력 (예 : Rosenthal & Jacobson, 1968은 실험적으로 유도 된 자기 만족 예언을 보여 주었고, 연구자가 잘못 인도하지 않고 교사가 독자적으로 개발 한 기대치 또한 스스로 달성했다는 것을 알고 싶었습니다. 나는 종종 다른 사람들의 현상을 재연 해냈다. (가장 최근에는 존스 앤 해리스의 프로 / 카스트로 연설 / 서신 편향 연구의 개념적 복제를 성공적으로 마쳤지 만 연구자의 요구보다는 행동을 제한하는 성 고정 관념). 자, 이들 대부분은 지난 20 년간의 "뜨거운 화려 주제"가 아닙니다. 프라이밍도, 암묵적인 편견도, 힘이 가해지는 것도, 스테레오 타입의 위협도 없습니다. 이 결과 중 많은 것은 아니지만 대부분의 효과 크기 (OSC에서 복제 성공의 예측 인자 중 하나 인 2015 종이)가 동반됩니다.
그건 내 연구실에있는 것 뿐이야. 하나 이상의 독립적 인 연구실에서 복제 된 다른 사람들로부터 내가 아는 것들만 포함하면 :
- Jon Haidt의 도덕적 토대가 복제됩니다.
- 유사성 매력은 매우 강력합니다.
- 좌파 집단에 대한 우익 편견과 우파 집단에 대한 좌파 편견이 반복적으로 반복됩니다.
- 정치적 스테레오 타입의 과장은 반복됩니다.
- 편견 (그룹을 싫어하거나 좋아함)은 고정 관념 (그룹에 대한 믿음)보다 모든 종류의 편견을 더 강하게 예측합니다.
- 행동 복제의 얇은 조각을 기반으로 한 사람의 지각에 대한 우연의 정확도 위.
- Kahneman과 Tversky와 같은 경험적 방법이 대부분 복제됩니다.
- 그룹 내 편향은 대부분의 시간을 복제합니다.
- 역량, 도덕성, 건강에 대한 자의식 자기 평가가 반복됩니다.
- 사람의 인식에서 사람들은 진단 정보를 찾을 수있는 기회를 제공 한 모든 연구에서 확증적인 정보 이상으로 진단 정보를 추구합니다.
그러한 결과에 대한 광범위한 해석이 아니라 기술적 결과에 대해 이야기하는 한 :
- 인종 IAT 점수가 0보다 크게 광범위하게 복제됩니다.
- 보수 주의자들은 자유 주의자들보다 강건성과 독단주의에 대한 일반적인 척도에서 더 높은 점수를 받는다.
- 인종 / 민족 및 학업 성취도의 차이점이 많습니다.
내가 목록에없는 것보다 더 많은 것이 있다고 확신한다.
많은 발견은 쉽게 복제 할 수 있습니다.
반면에, 이것은 주제의 무작위 샘플도 아닙니다. 제 개인적인 경험이나이 머리없는 사람의 목록에서 결론을 내리는 것이 합당하지 않습니다. 사실 사회 심리는 괜찮습니다. 고마워요. 그리고 문제는 복제를 넘어서는 방향으로 나아가고 있지만, 그것은 다른 날에 대한 선전입니다.
거의 1 세기에 걸친 사회 심리학 연구의 거대한 창고에서 실제로 유효하고 믿을만한 것이 무엇인지 어떻게 알 수 있을까요? 우리는 어떻게 극적으로 세계를 변화시키는 결과를 과대 광고인지, 훌륭한 이야기인지, 박제 된 결과인지, 희망찬 생각인지, 궁극적으로는 뱀 오일인지, 극적으로 세계가 변화하는 결과에서 구별 할 수 있습니다. 세상을 변화 시키시겠습니까? 실제로 아무도 아직 알지 못하며, pcurves, 복제 색인 및 사전 등록 된 복제 시도와 같은 회의적인 테스트에 대한 주장을하지 않고서도 자신이 주장하는 사람은 누구나 재 포장 된 뱀 기름을 판매하고 있습니다.
나에게, 이것을 알아내는 데 결정적인 요소가 하나있다. 관점의 다양성과 서로의 주장에 대한 깊은 회의론. 해답이 정해지지 않을 때 – 과학의 많은 부분이 현재 불안정합니다 – 다양성과 회의론은 과대 광고, 소음의 신호, 뱀 기름의 실제 변화하는 결과로부터 진리를 털어 내기위한 필수 도구입니다.
과학적 "당국"에 대한 추측과 불분명 함의 경험적 발판에 머물러있는 반복되는 "과학적"이야기는 사회 심리학의 타당성에 중대한 위협이다. 최소한 사회 심리학에 대한 우리의 주장과 관련하여, 겸손과 불확실성의 많은 양은 질서 정연한 것 같습니다. 그 정신에서 우리는 아마도 과학적지지의 토대가 매우 강하다는 것을 알지 못한다면 "대부분의 사회 심리 결과가 거짓"이라는 극단적 인 주장을 피하는 것이 가장 좋습니다.
마크 트웨인이 과학자라는 것을 누가 알았습니까? "그것은 당신이 곤경에 빠지게하는 것을 모르는 것이 아닙니다. 그것은 단지 그렇지 않다는 것을 당신이 알고있는 것입니다. "
참고 문헌
Jones, EE & Harris, VA (1967). 태도의 속성. 저널 오브 실험적 사회 심리학, 3, 1-24.
Krosnick, JA 복제. 2015 년 성격 및 사회 심리 학회 회의에서 토크가 발표되었습니다.
Loeb, A. (2014). 다양성의 이점. Nature : Physics, 10, 616-617.
열린 과학 협업. (2015). 심리 과학의 재현 가능성을 예측합니다. Science, 349, aac4716. doi : 10.1126 / science.aac4716
Rosenthal, R., & Jacobson, L. (1968a). 교실의 피그말리온 : 교사의 기대와 학생의 지적 발달. 뉴욕 : Holt, Rinehart 및 Winston.
문제가되는 프라이밍 및 기타 복제 연구가 어려운 라인 리소스에 쉽게 액세스 할 수 있습니다.
최근 프라이밍 실패
유효 및 유효하지 않은 프라이밍 효과
일찍 실패한 프라이밍 복제
사회 심리학 Unicorns
사회 심리 유니콘 : 실패한 복제로 인해 과학적 신화가 사라짐>
전원은 과대 광고를하고 있습니까?
