우리는 어떤 전문가가 어렵고 중요한 결정을 내릴 때 귀 기울이는 지 결정하기위한 실용적인 지침을 원합니다. 누가 정말로 신뢰할 수 있는지 어떻게 알 수 있습니까?
결론 : 우리는 확실히 알 수 없습니다. 철저한 기준은 없습니다.
그러나, 우리가주의 할 수있는 연약한 표준, 지시자가있다. 저는 Crispen & Hoffman, 2016, Shanteau, 2015와 Danny Kahneman과 Robert Hoffman의 제안에 대한 글을 그리며 지금까지 7 가지를 찾아 냈습니다. 위의 기준 중 어느 것도 바보가 아니더라도 모든 것이 유용하고 적합하다고 보입니다.
(a) 과거에 좋은 결정을 내리는 데 성공한 실적 – 측정 가능한 실적. (그러나 샘플이 많을수록 지난 10 년 동안 시장 방향을 정확하게 부른 주식 선택기와 같이 운이 좋았다.)
(b) 동등한 존경. (그러나 동료 등급은 개인의 확신이나 선택 이유에 대한 유창한 표현에 의해 오염 될 수 있습니다.)
(c) 경력 – 과제 수행 기간. (그러나 일부 10 년 재향 군인은 1 년의 경험을 10 번 반복하고 더 나쁜 경우 일부 직업은 의미있는 피드백을 제공하지 못합니다.)
(d) 정신 모형과 같은 암묵적 지식의 질. (그러나 암묵적인 지식은 명확하게 표현하기가 어렵 기 때문에 일부 전문가는 명확하지 않을 수 있습니다.)
(e) 신뢰성. (신뢰성은 필요하지만 충분하지는 않습니다. 일관되게 1 시간 느린 시계는 높은 신뢰성을 가지지 만 완전히 부정확합니다).
(f) 자격증 명 – 전문적인 기준을 달성하기위한 라이센스 또는 인증. (그러나 자격증은 전문 지식의 성취가 아닌 최소한의 역량을 의미합니다.)
(g) 반사. 내가 가장 최근에 실수 한 것은 무엇 이었습니까? “라고 묻자 대부분의 믿을만한 전문가들은 즉시 그들에게 먹어 치운 최근의 실수를 묘사합니다. 대조적으로, 전문가로서 포즈를 취하고있는 journeymen은 일반적으로 어떤 것도 생각할 수 없다고 말한다. 그들은 진실한 것처럼 보이지만, 물론, 그들은 가짜일지도 모릅니다. 일부 실제 전문가들은 최근의 실수에 대해 질문을 받으면 모든 종류의 이유 때문에 이들 중 어떤 것도 공유하지 않기를 선택할 수 있습니다. 따라서 반성과 솔직함에 대한이 기준은 다른 것들보다 절대 안전한 것은 아닙니다.
그러므로 비록 우리가 확실히 알지 못한다 할지라도 우리는 전문가를 누가 고려해야 할지를 판단 할 수 있습니다. 위의 기준 (d)를보십시오. 암묵적인 지식에는 지각 기술이 포함됩니다. 다이빙과 같은 올림픽 행사에서 해설자를 생각해보십시오. 그들은 우리가 느린 동작을 보여줄 때까지 볼 수없는 것을 봅니다. 나는 그들을 전문가라고 부를 것이다. 패턴 인식은 암묵적 지식의 또 다른 측면입니다. 내가 연구하는 소방관은 나에게 어리둥절한 것처럼 보이는 상황을 규명하기 위해 패턴 인식을 사용하고, 후속 이벤트는 판단을 확인합니다. 나는 그들에게 전문가라고 생각한다. 기대는 암묵적 지식의 또 다른 측면입니다. 불에, 나는 화염의 크기와 강도를보고 어떤 추가 장비가 필요한지 추측합니다. 그러나 숙련 된 지휘관은이 트럭을 다른 트럭의 길로 건너 뛰거나 호스를 밟지 않도록 각 트럭을 배치 할 위치에 대해 생각하고 있습니다. 그들은 나보다 앞서 있습니다. 나는 그들에게 전문가라고 생각한다. 정신 모형은 암묵적 지식의 또 다른 유형입니다. 제가 방금 연구 한 석유 화학 공장 운영자는 공장의 단위와 그들이 연결된 방식 및 작동 방식뿐만 아니라 작동하지 않는 방법, 고장이 발생할 가능성, 미묘한 사건, 센서의 실패는 성능에 영향을 미치며 감지 방법과 해결 방법에 영향을 미칩니다. 그들은 내가 추측 할 수없는 원인과 인과 관계를 알고 있습니다. 나는 그들에게 전문가라고 생각한다.
예상 사고로 돌아 가라. 1962 년 쿠바 미사일 위기에서 존 F. 케네디 팀의 일부 팀원들은 쿠바에 대한 기습 공격을 시작하려했습니다. 실제 전문가 인 다른 사람들은 소련이 서 베를린에 대한 공격으로 보복을 일으킬 가능성을 지적했다. 그래서 그들은 예언을하지 않았습니다. 대신 그들은 지정 학적 의미를 설명하기 위해 정신 모형을 사용하고있었습니다. 이 두 번째 그룹은 전문가라고 생각합니다. 그들은 사물을 보았고, 다른 사람들은 그렇지 않은 것을 보았습니다.
여기서 중요한 것은 기준 (d)이 누가 전문가인지 평가할 때 상당한 영향력을 제공한다는 것입니다. 그것은 우리에게 다른 사람들이하지 않는 것들을 보는 과도기적 측정을 제공합니다. 정확한 것으로 밝혀지는 것을 보는 것으로 기록에 남습니다. 그것은 전문가가하는 일이며 전문가로서의 역할을합니다. Klein & Hoffman (1993)은 전문가들이 전략 (d)의 핵심을 이루는 보이지 않는 지식 – 암묵적 지식을 어떻게 볼 수 있는지에 대한 추가적인 토론을 제공한다.
이 상대적인 이점은 다른 전문가들보다 전문가가 실제 답변에 얼마나 근접하는지에 대한 절대적인 기준을 채택하는 것과는 다른 관점입니다. 사람들이 내가 눈치 채지 못했던 중요한 것들을 보았다는 것을 입증 할 때, 그 때 나는 그들의 전문성에 의지하기로 결정합니다. 나는 그들이 완벽 할 것이라고 기대하지 않는다. 그러나 나는 그들이 나보다 훨씬 나아졌으며 다른 사람들보다 낫다는 점에 감사드립니다.
Danny Kahneman (개인적 의사 소통)은 Strategy (d)에 다음을 추가 할 것을 제안했습니다. 바보가 아닌 원래의 것을 말하기. 이것은 전문가가 그들의 의견과 관찰을 통해 스스로를 드러내는 또 다른 방법입니다.
사소한 점 : 전문가가되기위한 날카로운 묘사 나 단계는 보이지 않습니다. 나는 그것을 다른 사람들보다 상대적인 이점으로 생각한다.
인간 기업의 모든 분야에 전문가가 있습니까? 나는 그렇게 생각하지 않는다. 절차가 매우 잘 된 분야가 있습니다. 사람들은 절차 안내서의 어느 페이지로 넘어갈 지 안다면 전문가로 간주됩니다. 나는 전문가라고 생각하지 않으며 모든 분야의 전문가가 있다고 생각하지 않습니다. 실제로, 높은 회전율로 나는 전문가가없는 많은 분야를보고있다.
점성술은 어때? 과학적 시대 이전에, 점성가들은 암묵적 지식을 개발하였고, 매우 명료하게 전문가로 여겨졌다. 전 과학 세계에서 사람들은이 에세이의 시작 부분에 나와있는 기준의 대부분을 고려하지 않았습니다. 우리는 (a) 성공적인 수행과 (d) 암묵 지식의 질, (e) 신뢰성 측정, (f) 전문 자격증을 배제합니다. 그것은 (b) 동료 존경과 (c) 직업을 떠난다. 그래서, 예, 과학 전의 세계에서, 고도로 명료 한 점성가는 소집을 통과합니다. 주식 선택자 또는 TV 정치 학자와 똑같은 일이 오늘도 있습니다.
마지막으로, 기준 (e) 신뢰도를 살펴 보겠습니다. 이 기준은 필요하지만 충분하지 않습니다. 전문가 신뢰도는 동일한 입력에 대해 동일한 권장 사항을 생성해야하기 때문에 필요합니다.
어떤 사람들은 전문가 사이의 신뢰도를 보장하기 위해 신뢰성이라는 개념을 확장하고자하지만 전문 지식을 가진 전문가 중 한 명인 Jim Shanteau (2015)는 다양한 전문가가 다양한 관점을 표현하는 데 가치가 있다고 지적했습니다. 우리는 종종 예후 전문가가 아닌 전문가를 사용하지만 컨설턴트로서 다양한 견해에서 이익을 얻을 수 있습니다.
그래서 우리는 전문가의 신뢰성 내에서 실제로 찾고 있습니다. Shanteau는 전문가 수준의 신뢰성은 도메인에 따라 다르다는 것을 보여주었습니다. 단기 예측을하는 기상 예보관의 경우, 전문가의 신뢰도는 .98입니다. 다른 영역에서는 여전히 상당하지만, 초보자의 경우보다 훨씬 더 높습니다. 예를 들어, 곡물 검사의 경우 r = 0.62, 임상 심리사의 경우 r = 0.40과 같이 여전히 많이 믿습니다.
그러나 나는 통계적 신뢰도를 볼 수 있다고 생각하지 않는다. 우리는 또한 공정 신뢰성을 검토해야한다고 생각합니다. 시험 – 재검사 신뢰도를 고려하십시오. Time-1에서 10 개 항목 테스트를 관리 한 다음 Time-2에서 동일한 테스트를 관리합니다. Time-1에서 5/10, Time-2에서 5/10으로 점수를 매기면 Test-Retest 신뢰성을 나타내는 것으로 간주 할 수 있습니다. 나는 두 번 같은 점수를 얻었다.
하지만 Time-1에서 처음 5 개 항목을 얻었고 Time-2에서 마지막 5 개 항목을 얻었습니다. 두 번 모두 같은 5/10 점수를 받았지만 성적은 완전히 다릅니다. 내 결과는 신뢰성이 아닌 완전한 신뢰성을 보여줍니다. 그렇기 때문에 나는 통계적인 것에 덧붙여 두 번째 기준, 즉 프로세스 기준이 필요하다고 주장하는 것입니다.
또한 우리는 신뢰도 기준에주의를 기울일 필요가 있습니다. 왜냐하면 사람들이 전문가가되는 데 핵심적인 지속적인 탐사보다는 강성을 장려하는 너무 높은 신뢰도에 대해 사람들이 노력하도록 장려하기를 원하지 않기 때문입니다.
그럼, 7 가지 기준. 전문가로 간주 되려면 최소한이 기준 중 하나를 충족해야하며이 기준을 2 ~ 3 가지 이상 충족시킬 것으로 기대하는 것이 좋습니다. 품질의 중요성, 특히 기준 (d)에 따라 사람의 아이디어의 질이 중요하기 때문에 충족 된 기준의 수를 확인하려고해서는 안됩니다. 또한 우리는 자신감있는 태도와 같은 우리를 속일 수있는 기준을 경계해야합니다.
우리는 전문가를 확인하고, 판단을 내리고 피드백을 얻으며, 우리가 알아야 할 것이 었으며 무엇을 할인해야하는지에 대해 숙고하기 위해 더 숙련되게 노력할 수도 있습니다. 그런 식으로 전문가를 식별하는 데 전문성을 개발할 수 있습니다.
참고 문헌
Crispen, P. & Hoffman, RR (2016). 얼마나 많은 전문가가 있습니까? IEEE 지능 시스템, 11 월 / 12 월, 56-62.
Klein, GA, & Hoffman, RR (1993). 보이지 않는 것을 보는 것 : 전문 지식의 지각 적 /인지 적 측면. M. Rabinowitz (Ed.),인지 과학의 교육 기초 (pp. 203-226). Mahwah, NJ : Lawrence Erlbaum Associates.
Shanteau, J. (2015). 전문 지식을 이해하기 위해 작업 도메인 (여전히)이 중요한 이유. Journal of Applied Research in Memory and Cognition, 4, 169-175.
