수단에 대한 항목을 보려고합니다.

동료 Kalif Vaughn과 저는 이번 달에 연구 아이디어를 생각해 냈습니다. 우리는 첫 번째 연구를 실행하고 훌륭한 데이터를 얻었습니다. 우리가 계속해서 종이를 제출했다면, 문제없이 항해했을 것입니다. * 그러나 문제가있었습니다. 당신이 그것을 발견 할 수 있는지보십시오.

참가자들에게 원격 연결 테스트 (RAT) 문제를 제시했습니다. 예를 들어,

  • 샌드위치 골프 발
  • 종결 자물쇠
  • 캐스트 사이드 점프
  • 포크 다크 맨

이 트리오 각각에 맞는 네 번째 단어가 있습니다 (아래 답변).

참가자들에게 답을 생각하는 데 10 초를주었습니다. 그 다음에 우리는 대답을 그들에게 말했거나 30 초 후에 다시 생각해 보았다. 문제는 몇 초 후에 발생하는 테스트에서 40 초 그룹이 10 초 그룹을 능가합니까? 대답이 '아니요'이기 때문에이 결과에 대해 매우 기쁩니다.

나는 검색 성공이 학습에 영향을 미치는지 여부에 정말로 관심이 있습니다. 올해는 검색 시도가 중요하다는 것을 보여주는 연구 결과를 발표했으나 성공 여부는 문제가되지 않습니다 (Kornell, Klein, & Rawson, 2015). 그래서 우리는 새로운 데이터를 보았습니다. 참가자들은 10 초 조건보다 40 초 조건에서 더 많은 답변을 얻었습니다 (1 단계 동안). 그러나 (내가 말했듯이) 그들은 최종 테스트에서 더 잘하지 못했습니다. 그래서 우리는 분명한 결론을 이끌어 냈습니다. 다시 한 번 대답을 생각해 보면 도움이되었지만 성공은 무의미했습니다.

문제를 발견 했습니까? 마지막 단락에 있습니다. 한 가지 더 많은 정보가 있습니다. 연구 단계에서 40 초 조건은 10 ​​초 그룹보다 약 10 % 더 좋았습니다. 즉, 항목 중 10 % 만 검색 실패에서 검색 성공으로 변환되었습니다.

이제 검색 성공이 중요하다는 것을 상상해보십시오. 그리고 학습 성공률은 15 % 차이로 나타납니다. 항목의 10 %에 대해 15 %의 이익이 있습니까? 검색 성공이 중요하다면 최종 테스트에서 1.5 % 포인트 차이가 난다. 감지 하기엔 너무 작습니다.

그래서 우리는 여전히 흥미로운 발견을했습니다 (우리는 여전히이 프로젝트에 적극적으로 참여하고 있습니다). 그러나 지금까지의 데이터를 토대로 검색 성공의 효과에 대한 결론을 도출하는 것은 잘못된 것입니다. 운이 좋은 사고로 우리는이 문제를 생각했습니다. 그러나 그것은 놓치기가 얼마나 쉬울 까 걱정된다. 다음은 두 가지 함정입니다.

  • 의미에 지나치게 의존. 효과가 중요하기 때문에 (연구 단계에서 성능이 10 % 증가 했음) 효과의 크기를 잊어 버릴 수는 없으며 그 효과가 현저하다고 가정하고 결과가 커야합니다.
  • individualuating하는 대신 집계. 효과를 모든 항목에 영향을주는 단일체로 생각하는 것이 유혹적입니다. 그것은 기본적으로 우리가 수단을 계획 할 때하는 일입니다. 그러나 때로는 효과가 항목의 하위 집합에만 적용됩니다. 이 경우 검색 성공은 항목의 10 %에만 적용됩니다. (우리는 Kornell, Bjork, & Garcia, 2011에서 장기간에 걸친 테스트의 효과를 조사 할 때 아이템 분해 (dis-aggregating items)의 중요성에 대한 유사한 결론을 이끌어 냈습니다.

그것은 "나무를위한 숲을 볼 수 없다"는 반대의 일종입니다. 여기서 문제는 개인을 간과하는 것입니다. "수단에 대한 항목을 볼 수 없습니다."

답변 : 클럽, 죽은, 넓은, 피치

트위터에서 날 체크 아웃해라.

* 하하, 예. 권리.

참고 문헌

Kornell, N., Bjork, RA, & Garcia, MA (2011). 왜 망각을 방지하기 위해 테스트가 나타나는가? 분배 기반 분기 모델. Journal of Memory and Language, 65 (2) , 85-97. doi : 10.1016 / j.jml.2011.04.002

Kornell, N., Klein, PJ, Rawson, KA (2015). 검색 시도는 학습을 향상 시키지만 검색 성공 (실패 대비)은 중요하지 않습니다. Experimental Psychology 저널 : Learning, Memory, and Cognition, 41 (1), 283-294. doi : 10.1037 / a0037850