P-Hack 랩

심리적 과학을 향상시키는 방법 한 번에 하나의 힙합 노래

이것은 코넬 대학교 (Cornell University)의 학부 심리학 전공 및 실험실 관리자 인 다니엘 로젠 펠드 (Daniel Rosenfeld)의 게스트 게시판입니다. 그의 연구는 음식 선택, 도덕 및 정체성에 중점을두고 있으며 특히 채식에 중점을 둡니다.

랩에 들어가기를 원한다면 실제 랩의 실제 YouTube 비디오 인 The P-Hack Rap이 약 3/4의 길 아래에 있습니다.

————-

나는 학부 학생입니다. 심리적 연구를 수행하는 데 불과 2 년의 경험이 있습니다. 그러나이 짧은 시간에 나는 심리적 과학의 폭 넓은 의미와 의미있는 업적, 실용적 함의에 대해 엄청난 감사를 표했다. 그러나 저는 과학적 복제 가능성에 대해서도 배웠습니다. 저는 매우 걱정하고 있습니다.

• 부정적인 축구로 인해 무엇이 잘못 되었나요?
• 어머니는 얼마나 오래 모유 수유를해야합니까?
• “Asmita”: 나르시시즘에 대한 동쪽의 전망
• 송곳니 과학은 연약한 과학이 아닙니다 : 어려운 개 데이터는 풍부합니다
• 아동 정신 분석 재검토

복제 위기

출처 :이 주심

• 왜 심지어 끔찍한 사회 규범이 변화하기 어려운지
• 왜 대중 문화 심리학인가? 점은 무엇인가?
• 리더십에 발을 들여 놓기
• 학생들에게 색상의 힘을 부여, 8 부 8
• 무장 교사 : 좋은 아이디어 또는 나쁜 아이디어?

저는 우리가 분야로서 어떻게 신흥 세대의 학자를 양성 할 것인지에 대해 우려하고 있습니다. 나는 “복제 위기”를 해결하려는 훌륭한 노력이 다른 학부생을 포함하여 충분한 평신도에 미치지 못할 것이라고 우려하고 있습니다. 나는 오늘날의 상승 심리 과학자들이 그들의 훈련의 미래를 형성 할 많은 대화를 놓칠 것이라고 우려하고 있습니다.

동시에 나는 낙관적이다. 지난 학기에 저는 크리스 챔버스의 심리학 7 대 죄에 초점을 맞춘 세미나를 마쳤으며 심리학 연구에서 방법 론적, 통계적, 윤리적 딜레마에 대해 논의했습니다. 나는 열린 과학을 향한 떠오르는 움직임에 대해 배웠다 – 무수한 방법으로 독점적 인 연구 실험실의 그림자에서 심리학 과학을 옮기려 시도한다. (원래의 가설, 사후 이야기 전개, 관행, 통계적 결정 및 방법의 전체 집합 그 실험실에서만 알려져있는) 닫힌 문 뒤에서 그리고 일광 (모두가 볼 수있는, 그리고 결정적으로 오류와 편향을 검사하고 원래의 연구와 가까운 방법을 사용하여 복제하려고 시도하는)에 빠지게됩니다. 이러한 연습 중 하나는 사전 등록입니다. 사전 등록은 연구자가 원래의 가설과 계획된 분석을 확인하는 문서를 준비하는 것을 포함합니다. 사전 등록이 모든 관행을 훨씬 투명하게 만들어 주기도하고 때로는 공개적으로 사용할 수 있기 때문에 중요합니다. 그것은 어떤 가설이 선험적으로 테스트되었고, 어떤 것이 가설적인지 명확하게 밝혀줌으로써, (다른 과학자를 포함하여) 그 연구의 소비자가 더 신뢰할만한 결과를 얻고 더 임시적인 결과를 얻게한다.

P 해킹 : “통계적 중요성”에 대한 탐구

저는 개인적으로나 현장에서 우리가 연구 수행의 규범적인 방법을 수정함으로써 과학적 타당성을 위협하는 긴급한 문제를 해결할 수 있음을 배웠습니다. 여기 세미나에서 큰 논쟁 거리 인 “해킹 (p-hacking)”에 대한 의견을 나누고 싶습니다.

출처 :이 주심

평신도 독자의 경우 : p 값의 “p”는 확률을 의미하고 .05 이하는 일반적으로 “통계적으로 유의성”이라고합니다. P 값은 일반적으로 연구자가 실험 조건을 비교하거나 상관 관계를 계산할 때 얻어집니다. 너무 많은 세부 사항으로 들어가지 않고, 모든 종류의 가정이 충족된다면, P 값은 실제로 (더 넓은 세계에서) 외부 세계에 존재한다면, 무작위 적 기회에 의해 관찰 된 차이 또는 상관 관계 (또는 더 큰 것)를 발견 할 가능성이 있습니다. 차이 또는 상관 관계 없음.

.05 이하의 P 값은 흔히 “유레카, 내 결과가 진짜입니다!”라는 의미로 사용되기도합니다. “내 결과는 체계적이고 타당하며, 무작위 적 기회 때문이 아닙니다!”라는 뜻의 실수로 종종 오해되기도합니다. 이 모든 것들을 의미하지만 그것은 다른 날을위한 블로그입니다). 그러나 중요한 것은 심리 과학자들이 최근에야 p <.05, 즉 "통계적으로 유의미한"결과없이 자신의 연구 결과를 발표하는 것이 거의 불가능하다는 것입니다. 물론, 학계의 세계에서, 그것은 "출판하거나 멸망"합니다 – 심리학 연구자들은 어떤 방법으로도 가능하다는 통계적 중요성에 "도달"하는 데 높은 동기 부여를 의미합니다. 그러한 수단 중 일부는 과학적으로 건전합니다. 이것은 큰 샘플은 더 많은 통계적 "힘"을 가지기 때문에 중요한 결과를 산출 할 가능성이 더 많기 때문에 이것은 효과가있다. 그러나 어떤 수단들은 그렇게 소리가 나지 않습니다.

어느 것이 우리를 해킹하게 만들지. 학업 성적에 대한 교과서 독서 모드의 효과를 테스트하기위한 연구를 진행하고 있다고 가정 해보십시오. 학생들은 입문 심리학 수업에서 학생들을 선택하고 시험에 응시 한 다음 무작위로 두 그룹으로 분류합니다. 학생들의 첫 번째 그룹에게 인쇄 교과서를 통해 다가오는 모든 교과서 장을 읽고 온라인 교과서를 통해 읽을 두 번째 그룹을 읽도록 지시합니다. 당신은 명확한 가설을 테스트합니다. 온라인 교과서 독자는 한 달 동안 성과가 크게 개선 될 것입니다.

후속 시험이 끝나면 데이터를 분석합니다. 두 그룹 간의 성능 변화에는 큰 차이가 없었습니다! “젠장,”너는 너 자신에게 생각한다. “그건 이야기가 될 수 없다. 어쩌면 교과서를 온라인으로 읽는 것은 기본 시험에서 평균 80 %보다 낮은 점수를받은 학생에게만 도움이 될 것입니다. “따라서 이번 분석을 다시 실행합니다 – 이번에는 기준선에서 80 % 이상을 채점 한 모든 학생들을 제외하고 중요한 결과를 나타냅니다 : 0.04의 p- 값. 온라인으로 교과서를 읽는 평균 이하의 학생들은 학업 성취도가 높고 검토를 위해 원고를 제출하십시오.

학업을 시작한 것으로 보이지만 해킹 만 있으면 도움이됩니다. 대놓고 해킹은 우리가 “데이터를 요리하는 것”또는 “고백하기 전까지는 데이터를 고문하는 것”으로 생각할 수 있습니다. 연구자가 데이터를 구성하지 않는다는 의미에서 사기가 아닌, 거의 필연적으로 .05 임계 값이 “통계적 유의성”으로 교차 할 것입니다. p 해킹이 일반적인 과학 문헌 전체에서 확립 된 현상과 단순한 통계적 노이즈 사이의 경계는 완전히 흐려질 수 있습니다.

분야로서 과학적 복제 가능성에 관한 현재 대화에서 신흥 세대의 학자들을 참여시키는 창조적 인 방법이 필요합니다. 심리적 연구가보다 투명하게 이루어 지도록 노력함으로써 문제와 오류를보다 쉽게 ​​식별 할 수 있으며 결과를보다 재현 할 수 있습니다. 독립적 인 실험실을 축하하는 심리학자가 소셜 미디어에 대한 연구를 사전 등록한 것을 보았으므로, 우리는 미래의 학자들에게 개방적이고 건전한 방법론의 이점에 대해 많은 것을 가르쳐 왔습니다.

연구에 대한 자신의 개입과 힙합에 대한 열정을 결합하여 P 해킹 랩을 작성했습니다.

즐겨.

P-Hack 랩

저널에 게시하려고합니다.

그게 큰 영향을 준다.

그러나 아주 자주, 사실

방법은 그대로입니다.

p-hack으로 우리는

우리는 선험적 테스트가 부족합니다.

그러나 참신함이있는 시스템

가장 좋은 것으로 간주됩니다.

타당성이 문 밖으로 날아간다.

중재자 등을 테스트하면서

현실을 놓치다.

문을 통한 부츠 두려움

그 사람을 두려워하는 것.

H- 지수가 낮은 사람

그들의 분석이 깨끗했기 때문에

Windex와 같은 통계 도덕과 함께

굴곡 된 결과물이 쌓여있다.

바인딩에 집착하지 않는다.

정의 조건

언제든지 어떤 가설

어쩌면이 이상 치를 삭제하십시오.

단 하나, 단지 그것을 시도

그리고 무의식적으로 굴복하십시오.

투명한 확인 편견

아니면 가설을 시작할 수 있습니다.

결과가 알려진 후

단지 새로운 주장을하는 것입니다.

현실에서는 과도하게 지나치다.

바다에 사는 어부처럼

오탐 (false positive)을 줄 수 있습니다.

소설 발견

실제로 그것은 반대의 경우입니다.

금광처럼 데이터 검색하기

좋은 장점을 얻으려고 노력

.05보다 작아야합니다.

그것은 출판하거나 멸망하기 때문에

우리는 함께 수정할 수 있습니다.

일반적인 규범 및 시스템

우리가 성장할 수있는 분야로서

방법 론적 지혜를 향하여

우리는 더 큰 투명성이 필요합니다.

이 복제 위기를 이겨내려면

출현하는 편견을 극복하기 위해

우리 자신의 불투명 한 장치에 맡길 때

새로운 비전으로 개정이 시작됩니다.

그것은 새로운 점화를 촉발시킨다.

사전 등록은 밝힐 것이다

모든 사후 결정

—————————

당신이 이것을 즐긴다면, 당신은 또한이시를 즐길 수 있습니다 :

대학원생 복수

이 주심은 PsychRabble이라는 트윗을 사용하고 있습니다. https://twitter.com/PsychRabble에서 그는 과학 개혁, 다양성, 편견, 고정 관념, 차별, 정치 심리 등의 주제를 다루고 있습니다.