과학적 완전성 심리학 : 대학원 강의
과학적 완전성의 심리학 : 대학원 교리 와목
필요한 독서
참고 : 아래의 모든 수치는 링크이므로 관심이 있으시면 원본의 대부분의 기사를 읽을 수 있습니다. 때로는 저널 저작권 문제로 인해 초록 만 볼 수 있습니다. 또는 주류 뉴스 콘센트 구독이 필요할 수 있습니다. 그러나 대부분의 경우 대학에 소속되어 있다면 도서관 시스템을 통해 출처에 액세스 할 수 있습니다.
부 I : 서론
뭐가 문제 야?
Freedman (2010 년 11 월). 거짓말, 거짓말, 의학. 대서양.
Neuroskeptic (2012). 과학 지옥의 9 개 동그라미.
- 틴더에 대해 이야기 할 시간입니다.
- 우리는 모든 타당한 전문가입니다.
- 역설적 인 트럼프 유권자를 이해하려고 애쓰는 이유
- 마딩 죄가 있었나요?
- 아버지와 인간이 같은 시간에있을 수 있습니까?
Lehrer, J. (2010 년 12 월 13 일). 진실은 사라집니다. 뉴요커.
과학이란 무엇인가?
https://en.wikipedia.org/wiki/Science
https://en.wikipedia.org/wiki/Scientific_method
https://en.wikipedia.org/wiki/Data_sharing
제 2 부 : 복제 및 그 해산
심리적 "과학"은 받아 들일 수없는 것입니까?
OSF (2015). 심리 과학의 재현 가능성을 예측합니다. Science, 349, doi : 10.1126 / science.aac4716.
Jussim (2012). 사회 심리학의 유니콘. 오늘 Psych .
Jussim (2012). 사회 심리적 유니콘 : 실패한 복제가 과학적 신화를 없앨 수 있습니까? 오늘 Psych.
Henrich et al (2010). 세상에서 가장 이상한 사람들? 행동 및 두뇌 과학, 33, 61-135.
Funder (2012). 비 복제 자의 위험한 처지. Funderstorms.
Dreber 외 (2015). 예측 시장을 사용하여 과학 연구의 재현성을 평가합니다. PNAS, 112, 15343-15347.
우리 사회 장애자, 불완전한 사람, 또는 둘 다입니까?
Simmons 외 (2011). 거짓 긍정 심리학 : 데이터 수집 및 분석의 비공개 유연성으로 무엇이든 중요한 것으로 나타납니다. P sychological Science, 22, 1359-1366.
존스 외 (2012). 진실을 말하기위한 인센티브로 의심스러운 연구 관행의 보급을 측정합니다. Psychological Science, 23 , 524-532.
Schimmack, U. (2012). 여러 연구 논문의 신뢰성에 중대한 결과를 가져 오는 아이러니 한 결과. Psychological Methods, 17, 551-566.
Vul 등 (2009). 정서, 성격, 사회적인지에 대한 fMRI 연구에서의 당황스럽게 높은 상관 관계. Psychological Science의 관점, 4 , 274-290.
Wicherts et al (2011). 데이터를 제공하겠다는 의지는 증거의 강도와 통계 결과보고의 품질과 관련이 있습니다. PLoS One, 6 (11 ) : e26828. doi : 10.1371 / journal.pone.0026828
잠깐 : 나는 과학자 야.
Gilbert 외 (2016). "심리적 과학의 재현성 예측"에 대한 코멘트 과학, 351, 1037.
Fiedler, K., & Schwartz, N. (2015). 의심스러운 연구 관행이 재검토되었다. 사회 심리 및 인격 과학, 7, 45-52.
공황과 자기 만족 사이 …
주심 (2016). 대부분이 사회 심리 결과를 거짓으로 나타 냈습니까? 오늘 Psych.
Inzlicht (2016). 과거의 계산. 더 나아지고 있습니다.
Simonsohn (2016). 복제 평가 : 40 %가 가득 차서 60 %가 비어 있지 않습니다. 데이터 콜라 다.
파트 III : 비욘드 복제
과학은 스스로를 바로 잡는가?
Ioannidis, J. (2012). 왜 과학이 반드시자가 교정을하는 것은 아닙니다. 심리 과학에 대한 전망, 7, 645-654.
Jussim, L. (2015). 심리학에서 천천히 그리고 존재하지 않는 과학적 자기 교정. 오늘 Psych.
주심 (2016). 심리적 주장이 잘못되었다고 말하는 것이 불쾌합니까? 오늘 심령
Orenstein (2013 년 4 월 25 일). 유방암에 대한 우리의 기분 좋은 전쟁. NYTimes.
NYTimes (2013). 일반적인 무릎 수술은 약간의 일을 거의하지 않습니다.
Loeb, A. (2014). 다양성의 이점. 자연 물리학, 617-617.
O'Boyle 외 (2014). 번데기 효과 : 초기 결과가 얼마나 아름다운 기사로 변신 하는가? 경영 학회지, 19 .
디자인으로 외부인, Freakonomics podcast.
최소한의 통계는 엄격하고 명확하며 객관적입니다.
겔먼 & 로켄 (2014). 과학의 통계적 위기. 미국 과학자.
Fraley & Vazire (2014). N-Pact 요인 : 표본 크기와 통계력에 관한 경험적 저널의 질 평가. PLoS One, 9 : e109019. doi : 10.1371 / journal.pone.0109019.
Nuzzo (2014). 과학적 방법 : 통계적 오류. Nature , 506 , 150-152.
Westfall 외 (2014). 참가자의 표본이 자극 표본에 반응하는 실험에서 통계 능력과 최적 설계. Journal of Experimental Psychology : 일반, 143, 2020-2045.
허구에서 과학적 사실을 알리는 방법 : P- 커브 및 다른 방법
Masciampo & Lalande (2012). .05 바로 아래 p 값의 특이한 보급. Quarterly Journal of Experimental Psychology, 65 , 2271-2279.
Simonsohn 외 (2014). P 커브 : 파일 서랍의 열쇠. Journal of Experimental Psychology : 일반, 143, 534-547.
Simonsohn 외 (2014). P 곡선 및 효과 크기 : 중요한 결과 만 사용하여 게시 편향을 수정합니다. 심리 과학에 대한 전망, 9, 666-681.
프랑코 외 (2014). 사회 과학의 출판 편향 : 파일 서랍의 잠금 해제. Science, 345, 1502-1505.
Simmons 외 (2012). 21 단어 솔루션. 대화.
Bakker 외 (2012). 게임의 규칙은 심리학이라고 불렀습니다. 심리 과학에 대한 전망, 7 , 543-554.
해석의 문제 : 좋은 데이터에 근거한 나쁜 결론
Vazire (2014). 심플하고 진흙 투성이. 때로는 틀렸어.
Abramowitz et al (1975). 출판 또는 정치 : 원고 검토에서 심판 바이어스. Journal of Applied Social Psychology, 5, 187-200.
Eagly, A. (1995). 남성과 여성을 비교하는 과학과 정치. 미국 심리학자, 50, 145-158.
Inbar & Lammers (2012). 사회 및 성격 심리학의 정치적 다양성. 심리 과학에 대한 전망, 7, 496-503.
주심 (언론에서). Précis of Social 지각과 사회적 현실 : 왜 정확도가 편견과 자기 만족 예언을 지배 하는가? 행동 및 두뇌 과학.
Jussim, Crawford, Stevens, & Anglin (2016). 사회 심리 과학의 정치 : 집단 간 관계에 대한 사회적 심리학의 왜곡. P. Valdesolo와 J. Graham (eds), Political Polarization의 사회 심리학.
Steele & Aronson (1995). 스테레오 타입 위협과 아프리카 계 미국인의 성적. 성격 및 사회 심리학 저널 , 69, 797-811. – 데이터를 잘못 해석하는 사례 연구로 제시
주심 (2016). 인구 통계적 차이를 설명하는 것은 무엇입니까? 오늘 Psych.
—–
이 기사는 Sanjay Srinivasta의 블로그 게시물에서 영감을 얻었습니다. Sanjay는 심리 과학 향상의 최전선에 서 있었고, 그의 게시물은 Everything is F **** d : The Syllabus라는 제목의 코스에 대한 가짜 강의였습니다. 산 제이 (Sanjay)는 과학적 실천을 "과학자들에게 실현 가능하고 실제적인 솔루션을 사용할 수 없거나 일상적으로 무시하는 어려운 개념적 도전 과제를 제시 할 때 f *****라고 정의합니다."
매주 주, Sanjay의 가짜 과정은 우리가 심리학에서 "좋은"과학으로서 당연한 것으로 여겼던 것의 어떤 측면이 f *****라고 주장하는 독서를 제공합니다. d. 여기에는 실험, 리뷰, 통계, 메타 분석, 복제 등이 포함됩니다.
저는 2014 년부터 기본적으로 동일한 주제에 대해 두 개의 실제 과정을 가르치고 있습니다. 여기에 제시된 강의는 제 대학원 과정입니다. 나의 저학년 강의의 이전 포스트는 기초적인 대학 교육이나 널리 읽혀지고 합리적으로 수치화되는 관심있는 평신도 독자를위한 좋은 개요입니다. (실제로 어느 한 쪽도 대학 교육이 필요하지 않습니다.)
그래디언트 과정은 몇 가지 일반적인 출처를 가지고 있지만 많은 기술적 인 수치가 있습니다. 그들에 관해 거룩한 것은 없지만, 내가 배정 한 것은 이것들입니다. 나는이 과정을 2015 년 봄에 가르쳤고, 그 이후로 나는 모든 종류의 흥미로운 출처를 발견했다. (Sanjay의 사이트에서 전체적으로 볼 수있다.) 많은 사람들이 다음에 내가이 과목을 가르 칠 때 통합 될 것입니다.
개요
이 대학원 방법 수업은 과학 연구 수행의 모범 사례를 구성하는 부분에 대한 이해의 급속히 변화하는 변화에 초점을 맞출 것입니다. "과학적 연구"란 과학 지식의 생산과 관련된 모든 관행을 의미합니다.
나는 "과학적 완전성"이라는 용어를 사용하여 두 가지 관련 있지만 분리 된 아이디어를 언급한다. 1. 연구의 수행 및보고에있어서의 개별 과학자의 개인적인 정직. 2. 타당하고 타당하지 않은 견고한 결론을 도출하십시오. 분명히 부정직하거나 오도 된 실행은 과학을 해칠 수 있습니다. 개인 부정직은 데이터 사기와 같은 문제를 설명 할 수 있지만, 그러한 경우는 매우 드물며이 과정의 초점이 아닙니다.
이 과정의 초점이 될 과학적 완전성이라는 용어의 두 번째 의미입니다.
연구자가 개인적 완전성을 잃지 않을지라도, 자신의 분야에서 일반적으로 사용되는 관행은 오해의 여지가 있거나 무효 한 결과를 산출 할 수 있습니다. 이러한 의미에서, 과학적 청렴성은이 과정의 초점이 전통적인 타당도 유형 (얼굴, 내부, 외부, 생태계 등)과 다르더라도 과학적 무결성은 "유효성"이라는 용어에 대한 일반적인 이해와 밀접한 관련이있다. 우리의 정규 방법 과정에 의해 덮여)
과학은 "올바른 방향"에 관한 것입니다 (SPSP 태스크 포스, 첫 주 읽기 참조). 그것은 진실한 주장과 결론을내는 것에 관한 것입니다. 여기에는 다음이 포함됩니다 : 1. 유효한 새로운 지식의 생성; 2. 기존 연구 결과에서 어떤 결론이 사실인지 아닌지를 결정하는 데 필요한 도구 개발.
단지 일부 주장이 발표 되었기 때문에 그것을 "사실"로 만들지 못합니다. 일단 이것이 인정되면, 자연스러운 질문은 "진실이 아닌 사실을 어떻게 구별 할 수 있습니까?"그것이 새로운 방법과 통계, 새로운 구식 방법 및 통계에 대한 사용, 과학적 문헌 내에서 체계적인 오류 및 편향을 식별하는 방법을 결정하기위한 개념 도구.
간단하지만 중요한 접선
많은 사회 심리학자들은 일부 주장이 "틀린"것이라고 주장하는데 실패하고있다. 이것은 잘못된 주장을 선전하기 위해 주장하는 사람에 대한 개인적인 공격으로 인식되기 때문에 발생하는 것으로 보인다. 심리적 인 주장을 틀린 선언 ? 이에 대한 자세한 내용은
그럼에도 불구하고,이 과정은 과학 지식의 창출과 평가에서 포퍼 리언 위조의 역할을 강조 할 것이다. 이러한 맥락에서 앞으로 나아갈 수있는 유일한 방법은 데이터가 과학적 주장을 왜곡하는 방식과 식별 방법을 포함합니다. 더 나아가서, 우리는 그것이 잘못되었을 때를 인식하는 기술을 본질적으로 포함하고 있습니다. 전미 과학 아카데미 총재 Richard Alpert (2013 년 The Economist에서 인용)에서 다음을 고려하십시오.
"과학자들은 과학적 명성을 보호하는 것이 아니라 심각한 피해를 공개적으로 인정하지 않고 단순히 실수에서 벗어나 가치관을 개발할 필요가 있습니다."
따라서 사실이 아닌 과학적 추론, 주장 및 결론에서 사실을 결정하는 과학적, 학술적, 지적, 방법 론적 도구를 개발하는 것이이 과정의 핵심 초점이 될 것입니다.
코스 목표
이 과정은 세 가지 주요 목표를 가지고 있습니다 : 1. 과학 연구에서 차선책의 출처와 징후 (재현 불가능한 결과, 불가능한 연구, 얻을 수없는 데이터, 잘못되었거나 통계 분석 및 방법 론적 절차가 잘못되었거나 오해의 소지가 있거나 과장된 결론 등) 이해. 현재 진행중인 개혁 시도를 검토하고 과학적 청렴성을 위협하는 위협 요소, 성공 가능성, 경험적 성공 방법 및 과학적 무결성에 대한 위협이 무엇인지 파악하기 위해 비판적 평가 ; 3. 기존의 증거 자료 중 어떤 것이 유효한지를 파악하는 방법을 결정할 때 현재 이용 가능한 개념 및 경험적 도구에 대한 소개를 제공한다.
클래스 구조
대부분의 수업에는 그주의 강의에 대한 토론이 포함됩니다 (아래의 채점 참조). 그러나 새로운 방법 론적 또는 통계 학적 기법 (예 : 과도한 중요성, 깔대기 도표, p- 곡선, 믿을 수없는 색인 작성, N-Pact 요인 평가, 신뢰 구간 [사물의 거대한 계획에서 새롭지는 않지만 새로 요구되고 아마도 , 많은 학생들에게 익숙하지 않은]이 소개되면서, 수업의 일부 또는 전체를 강의 할 수 있습니다.
채점
토론 주도 : 20 %
매주 몇 차례의 독서 과제가있을 것입니다. 1-2 명의 학생들은 다음을 요구 받게됩니다 : 1. 일련의 토론 질문을 생성하십시오; 2. 수업 시작 3 일전에 그들을 순환시킵니다. 3. 그주의 독서 토론을 시작하고,지도하고, 집중한다.
참가 : 20 %
다른 모든 수업과 마찬가지로 522 (2 학년 제 2 학년 수업)를 제외하고 수업 참여는 필수이며 필수적인 수업입니다.
요약 : 10 %
주로 필요한 기사를 일반적으로 실제로 읽도록 보장하기 위해 각 기사에 대한 간략한 요약을 제공해야합니다.
주요 논문 : 50 %
주요 논문은 연구 타당도를 평가하기위한 새로운 기술 중 하나를 사용하는 것 (예 : 메타 분석에서 연구에 관한 깔때기 또는 p- 곡선 제공); (예 : 연구 분야의 오류 또는 불완전 성)을 평가하고 출판 된 출처에서 데이터를 얻고 그 결과를 재현 할 수 있는지 평가하는 간단한 기술을 사용합니다 (참고 : "재생산"이라는 용어를 사용하여 질문에 대한 답변 : 게시 된 데이터를 얻은 후 저자가 설명하는 정확한 분석을 수행하면 정확한 결과가 나타 납니까?).
** 어떤 사람들은 "과학적"심리학을 통과하는 것과는 달리 적어도 마술사 Will Fern은 그가 환상을 만들어 낸다고 인정할 수도 있습니다.
