학술적 혐오
강사로서 저는 학생들에게 독특한 평가 정책을 제정하는 일을 제 사업으로 삼았습니다. 구체적으로 말하자면, 모든 시험은 짧은 에세이 스타일이며, 성적을받은 후에 수정이 허용됩니다. 이를 통해 학생들은 자신이 잘못한 점을 파악하고 개선 할 동기를 항상 갖게됩니다. 다시 말해서, 나는 인센티브를 제공하기 위해 평가를 설계합니다. 교육의 가치에 대한 추상적 관점의 관점에서 볼 때, 이것은 (적어도 제 동료가이 방법으로 논쟁하는 것을들은 적이 없지만) 적어도 입양하는 것은 합리적인 관점처럼 보입니다. 더 나은 단어가 없기 때문에 전문적인 관점에서 저의 어리석은 행동입니다. 여기서 의미하는 바는 – 취업 시장에서 – 학생들이 성공적으로 학업을 할 수있는 능력이 정확히 인센티브가 아니거나 적어도 더 많은 통찰력을 가진 다른 사람들이 저에게 전달한 인상이라고 생각하십시오. 채용위원회에있는 사람들은 특히 학생들이 배우는 데 얼마나 많은 시간을 할애해야하는지에 관심이 없다는 것만 큼 (그들이 가장 먼저 보는 것이 아니거나 심지어 톱 3에서도 그렇습니다),하지만 내가 한 시간 이 평가 방법에 투자하는 것은 내가 사용할 수있는 가장 유명한 매장에서 할 수있는만큼 많은 논문을 출판하려고하거나, 보조금을 찾는 것과 같은 가치있는 다른 일을하는 데 지출하지 않는 시간입니다.
그리고 나의 평가 방법에는 상당한 시간이 소요됩니다. 각 테스트가 5 ~ 10 분 정도 걸려서 점수를 매기고 의견을 말하면 약 100 명의 학생을 쳐다보고 있습니다. 몇 분의 빠른 수학은 매 라운드마다 약 8 ~ 16 시간이 걸릴 것이라고합니다. 대조적으로, 나는 대신 학생들에게 거의 자동으로 등급을 매길 수있는 객관식 테스트를 제공하여 시간 투자를 단 몇 분만에 줄일 수있었습니다. 한 학기 동안 학생들은 3 가지 시험을 통해 학습 할 수 있도록 24 시간에서 48 시간을 할애 할 수 있었고, 다른 방법을 사용하여 약 15 분 내에 시험 성적을 제공 할 수있었습니다. 채용위원회 위원 중 누구라도 말할 수있는 한이 두 가지 옵션은 실질적으로 동일합니다. 물론, 하나는 학생들이 더 잘 배우는 데 도움이 되지만 , 학생들이 배우도록하는 데 능숙하다는 것은 전문적인 수준에서 정확하게 인센티브되지 않습니다 . 24 시간에서 48 시간까지는 보조금 기금이나 서면 보고서를 찾는 데 쓰일 수 있었을 것입니다. 한 학기에 3 개 이상의 수업을 가르치는 일이 생기면 그 수가 올라갑니다.
이러한 인센티브는 테스트 및 채점으로 확장되지 않습니다. 채용위원회가 학생들의 학습 성과에 관심을 갖는 것이 전부가 아니라면, 강의 자료 디자인에 많은 시간을 할애해야한다는 의미가 있습니다. 학생들에게 내가 익숙하지 않은 정보를 가르쳐야하는 상황에 직면 했었습니다. 그렇지 않으면 친숙하지 않은 주제에서 전체 또는 특정 소설 정보의 주제가 될 수 있습니다. 시간 소모적 인 방법을 취하고 정보를 먼저 익히고 관련 주요 소스를 추적하고 심층적으로 읽고 강점과 약점을 평가하며 문제에 대한 후속 연구를 검색 할 수 있습니다. 빠른 경로를 택하여 논문의 초록 / 토론 섹션을 읽거나 교과서 작가 또는 출판사 자료에서 제공 한 연구 요약서를 간단히보고 할 수 있습니다.
귀하의 목표가 12 주 분량의 강의 자료를 준비하는 것이라면 어떤 방법으로 가장 많은 시간을 절약 할 수 있는지 분명합니다. 당신이 잘 알고있는 정보가 풍부한 잘 조사 된 강좌를 갖고 있다면 적절한 인센티브가 주어지지 않는다면, 왜 우리는 교수가 후자의 길을 택할 것으로 기대할 것입니까? 프라이드, 아마도 많은 교수들이 자신의 직업에 능숙하고 학생들에게 도움이되기를 원합니다.하지만 다른 인센티브가 매력적인 인재로 삼기 위해서는 양질의 교육에 시간을 투자하지 않는 것이 좋습니다. 나는 인스트럭터가 존재하는 곳을 강하게 암시하면서 한 명 이상의 강사가 주의 산만 이라고 말한 것을 들었습니다.
인센티브에 대한 이러한 우려의 의미는 필자가 가지고있는 개인적인 좌절감을 넘어서며 주목을 받기 시작했습니다. 이 문제를 강조한 최근의 사건 중 하나는 복제 위기라고 불리 웠습니다. 복제 위기는 독립 연구 팀이이를 발견했을 때 다시 발표되지 않은 많은 게시 된 결과입니다. 이것은 어느 정도 인정할만한 소수도 아니었다. 심리학에서는 50 %가 넘습니다. 이 상태의 건강한 부분이 게시 가능성있는 결과를 찾기 위해 의심스런 방법을 의도적으로 사용하는 연구원에게 존재한다는 것은 의심의 여지가 없습니다.하지만 왜 처음에 그렇게할까요? 왜 그들은 이러한 결과를 찾기 위해 그렇게 동기 부여를 받았습니까? 다시금 자존심은 방정식에 포함되지만 일반적으로 그렇듯이 그 대답의 또 다른 부분은 학계의 인센티브 구조를 중심으로 진행됩니다. 학계가 심사되고, 고용되고, 홍보되고, 결과를 발표 할 수있는 능력에 자금이 투입되면 인센티브가 부여됩니다 결과 자체가 특히 신뢰할만한 것은 아니더라도 결과를 최대한 많이 게시 할 수 있습니다 (부정적인 결과를 게시하려고 시도하는 것으로부터도 소생됩니다. 많은 경우 다른 문제가 발생합니다).
새로운 논문은 간단한 전제로 시작하는 학계 (Edwards & Roy, 2017)에서 이러한 인센티브를 논의하는 라운드를 진행해 왔습니다. 학술 연구자는 인간입니다. 다른 사람들처럼, 우리는 특정한 인센티브에 반응하는 경향이 있습니다. 학계 내 인센티브 구조가 좋은 의도로 만들어 졌을 수도 있지만, 의도하지 않은 결과가 법의 위협으로 부각되고 있습니다. 이 경우 Goodhart의 법칙이라고하는 의도하지 않은 결과는 다음과 같이 표현할 수 있습니다. " 관측 된 통계적 규칙 성은 제어를 위해 압력이 가해지면 축소됩니다 ."또는 " 측정 값이 목표가 될 때 본질적으로,이 아이디어는 사람들이 정신보다는 법의 서신을 따를 것이라는 것을 의미합니다.
이를 학문적 인 예로 들겠 다. 대학은 지적이고 통찰력있는 교수를 고용하기를 원할지도 모른다. 그러나 지능과 통찰력을 평가하는 것은 어렵 기 때문에 이러한 특성을 평가하기보다는 대학에서 대책 을 평가합니다. 지능과 통찰력과 관련이있는 경향이 있지만 그 자체가 아닙니다. 이 경우 지적이고 통찰력있는 교수가 동료보다 많은 논문을 발표 하는 경향이 있음을 알 수 있습니다. 누군가가 출간하는 논문의 수는 측정하기가 훨씬 쉽기 때문에, 대학은 고용 및 승진 대상을 결정하는 대신 그 변수를 단순히 측정합니다. 간행물 기록은 처음에는 성과를 예측하는 좋은 지표이지만 평가 대상이되면 그 상관 관계는 감소하기 시작합니다. 사람들이 평가하는 대상 행동이 출판물 그 자체 가 될 때 , 처음에 측정하려고했던 것보다는 그 변수를 극대화하기 시작합니다. 통찰력이 부족한 적은 양질의 논문을 출판하는 대신 세계를 이해하는 데 도움이되는 더 많은 일을하는 많은 논문을 발표합니다.
- 만성 통증 및 질병에 도움을주기 위해 신체 검사 사용하기
- 당신의 직장은 성장의 사고 방식을 가지고 있습니까?
- 침묵의 소리
- 유혹하는 두뇌 과학 : 오래된, 창조적 인 발효 또는 둘 다?
- 의학으로서의 유머 : 건강에 관한 20 가지 인용문
똑같은 맥락에서, 표준화 된 시험에서의 학생 성적은 교사의 효율성을 측정하는 좋은 척도가 될 수 있습니다. 보다 효과적인 교사는 더 많이 배우고 나중에 시험을 더 잘하는 학생들을 배출하는 경향이 있습니다. 그러나 가난한 교사가 처벌을 받고 성과를 향상 시키거나 새로운 직업을 찾도록 지시한다면 교사는 시스템을 사용하려고 시도 할 수 있습니다. 이제 학생들에게 실제 학습으로 이어지는 전체 론적 방식으로 주제에 대해 가르치기보다는 시험에 대한 가르침을 시작합니다. 화학을 가르치기보다는 화학 시험을하는 법을 배우기 시작 합니다. 두 가지는 확실히 똑같은 것이 아닙니다. 교사가 학생들의 성적에 대해서만 시험을 치르면, 이는 인센티브 구조가 만들어지기 시작합니다.
학자들이 발표 할 수있는 논문의 수에 영향을 미치는 것 외에도, 인센티브 구조의 여러 가지 잠재적 의도되지 않은 결과가 논의됩니다. 그 중 하나는 출판 된 작업의 질을 측정하는 것입니다. 이론적으로나 경험적으로 의미있는 논문은 약한 연구보다 인용 횟수가 많을 것으로 예상됩니다. 그러나 논문의 의미가 직접적으로 평가 될 수 없기 때문에 인용 횟수 (다른 논문이나 저자가 인용 한 빈도)와 같은 프록시 측정을 살펴 봅니다. 그 결과? 자신의 일을 더 자주 인용하는 사람들과 자신의 작업을 요구하는 동료 평가자는 현장에 게시하려는 사람들이 인용합니다. 무의미한 인용 횟수가 늘어났습니다. "우수"또는 저명한 저널로 출판하는 것에 대한 인센티브도 있습니다. 의미있는 작품을 우선적으로 출판 할 것으로 생각되는 작품. 다시 한 번 저널이 얼마나 좋은지 평가할 수 없으므로 저널의 논문 수를 인용하는 것과 같은 다른 지표를 사용합니다. 여기서 얻은 결과는 저널이 이전에 출판 한 논문을 인용 한 논문을 발표하는 것을 선호하는 것과 거의 같습니다. 한 걸음 더 나아가 대학들이 특정 측정 항목에 순위를 매길 때, 그 측정 항목을 사용하거나 단순히 잘못보고하는 것에 동기를 부여합니다. 분명히 많은 대학들이 순위에 올라 타기 위해 붙잡혀있는 반면, 다른 대학들은 진학률을 향상시키지 않고 순위를 올릴 수 있습니다.
우리가 실행할 수있는 많은 예제들이 있습니다. (그리고 그 이유만으로도 그 자체로 종이를 체크 아웃 할 것을 권장합니다.) 그러나 제가 토론하기를 원했던 더 큰 요점은이 모든 것이 광범위한 의미의 것입니다. 체계를 속이기를 더 기꺼이하는 사람들이 그들의 행동에 대해 보상받는 정도까지, 속이기를 기꺼이하지 않는 사람들은 혼잡해질 것이고, 거기에는 우리의 실제적인 문제가 있습니다. 관점을 위해 Fanelli (2009)는 2 %의 과학자가 데이터 제작을 인정하고 10 %는 덜 명백하지만 여전히 의심스러운 관행에 참여한다고보고합니다. 그는 또한 그런 일을하는 동료의 사례를 알고 있는지 물어 보면 그 숫자는 각각 약 14 %와 30 % 정도라고합니다. 그 숫자는 해석하기가 쉽지 않지만 (일부 사람들은 속임수를 쓰는 경우가 많고, 동일한 사례에 대해 여러 사람이 알고 있거나, 기회가 아직 주어지지 않았더라도 속이기 위해 기꺼이 할 수도 있습니다 ), 그들은 우려의 원인으로 매우 심각하게 받아 들여 져야한다.
(Edwards & Roy가 Fanelli 조사 결과를 상한선 을 마치 평균 인 것처럼 인용하여 학술 부정 행위의 문제를 가능한 한 나쁘게 보일 수 있음을 지적하는 것은 가치가 있습니다. 이것은 실수 일 가능성이 높지만 가능성을 강조합니다 그 실수는 동기 유발뿐 아니라 인센티브 구조를 따르는 경향이 있습니다. 연구자가 자신의 연구 결과를 과장하는 인센티브를 얻는 것처럼, 다른 사람들의 결과를 과장하여 자신의 점수를 설득력있게 만드는 데 도움이되는 인센티브도 있습니다.
학계 내 소수의 나쁜 사과가 자신의 데이터로 부정 행위를 일으키는 문제에 기여한 것이 아니라 단지 소수의 사례 만이 아니라면 최소한 두 가지 주요한 결과가 발생할 가능성이 있습니다. 첫째, 더 많은 비 사기꾼이 사기꾼이되도록 장려 할 수 있습니다. 시스템을 속이는 동료를 관찰하고 그에 대한 보상을받는다면 일자리 나 자금을위한 (매우) 제한된 기회에 직면했을 때 자신을 속이는 것이 좋습니다. Parallels는 처음에는 스테로이드를 사용하지 않으려는 사람들이 경쟁사가 충분하면 스포츠에 스테로이드 사용을 유도 할 수 있습니다.
두 번째 결과는 더 많은 사람들이 그러한 종류의 문화에 참여함에 따라 대학에 대한 대중의 믿음, 그리고 아마도 과학적 연구가 더 일반적으로 침식된다는 것입니다. 공공연히 침식됨에 따라 자금이 줄어들고 연구 결과에 대한 회의론이 늘어났습니다. 연구가 해결할 수있는 중요한 문제가 있기 때문에 두 가지 대답 모두 정당화됩니다 (왜 당신이 믿을 수없는 연구원을 기금으로 모으겠습니까?)하지만 사람들이 기꺼이 듣기 만하면됩니다.
* 공정하기 위해서는 선생님으로서의 나의 능력이 채용위원회와 전혀 무관하다는 것이 아닙니다. 이 능력이 다른 관심사에 이차적 인 것뿐만 아니라 (즉, 보조금 및 출판물로 검색 범위를 좁힌 후에 만 내 교육 능력이 보일 수도 있지만) 실제로는 교수 능력 자체가 평가되지 않습니다. 평가되는 것은 나의 학생 평가이며 이는 분명히 똑같은 것이 아닙니다.
참고 문헌
Edwards, M. & Roy, S. (2017). 21 세기의 학문적 연구 : 잘못된 인센티브와과 경쟁의 분위기 속에서 과학적 완전성 유지. Environmental Engineering Science, 34, 51-61.
Fanelli, D. (2009). 얼마나 많은 과학자들이 연구를 조작하고 왜곡합니까? 설문 조사 데이터의 체계적인 검토 및 메타 분석. PLoS One. 4, e5738
