벼룩
전문가를 어리석게 만드는 법.
과학자와 벼룩에 대한 오래된 농담이 있습니다. 과학자는 테이블에 벼룩을 넣은 다음 테이블에 무겁게 손을 댔고 벼룩이 뛰어 올랐다. 과학자는 다음에 벼룩 다리 중 두 개를 벗겨서 다시 쳤고, 다시 벼룩이 뛰어 올랐다. 과학자는 두 번 더 다리를 찢어서 절차를 반복했고 다시 벼룩이 뛰어 올랐다.
과학자는 마지막 두 다리를 찢어서 손을 탁자에 댔다. 그는 다시 시도하고 테이블에 무겁게 손을,었지만 벼룩은 여전히 뛰지 않았다.
과학자는 그의 관찰을 적어 썼다. “벼룩이 모든 다리를 잃어 버리면 귀머거리가된다.”
마찬가지로 전문가를 데리고 익숙하지 않은 작업 (두 다리 꺼짐)을 수행하고 의미있는 상황을 제거하고 (두 다리가 더 이상 벗어남) 부적절한 평가 기준을 적용해야하는 상황 (마지막 두 다리를 벗어남) 전문가가 어리 석다는 결론을 내리는 것은 실수입니다.
이 인공 농구 시스템이 얼마나 뛰어난 전문가보다 뛰어난 지에 대한 기사를 읽었을 때 나는이 농담을 상기시켰다. 예를 들어, 의료 분야에서 환자를 치료하는 진단자가 폐렴의 징후를보기 위해 엑스레이를 볼 수 있지만 인공 지능 시스템은 엑스레이의 폐렴을 더 정확하게 탐지 할 수 있습니다. 또는 의사가 혈액 검사 결과를 조사 할 수도 있지만 AI 시스템은 의사보다 전자 건강 기록의 문제를 더 정확하게 탐지 할 수 있습니다.
이 그림에서 빠진 부분은 의사가 환자를 만나고 관찰하는 기회, 특히 지난 방문 방문과 비교하여 어떻게 움직이고 있는지를 알 수 있다는 것입니다. 그들이 어떻게 호흡하는지, 등등. 인공 지능 시스템은 이러한 관찰을 고려할 방법이 없으므로 비교 연구는 관찰을 제외하고 의사가 객관적인 기록에 근거하여 판단을 내 리도록 요구합니다. 그건 두 다리 다. 의사는 환자와의 개인 병력을 고려할 수 없습니다. 의사들은 가족과 상담 할 수 없습니다. 그래서 연구자들은 의사들이 AI만큼 정확하지는 않지만 매우 능숙하다고 결론 지었다.
우리가 필요로하는 것은 인공 지능 개발자가 의사의 판단을 향상시키고 대체 할 수있는 방법이라고 생각합니다. 다음은 Wang 외 연구의 한 예입니다. (2016). 병리학 자의 오류율은 3.5 % 였고 AI 모델 오류율은 2.9 %에 불과했다. AI 모델에 대한 확실한 승리로 보입니다. 그러나 AI에 병리학자를 합한 오류율은 0.5 %였다.
- 종교 – 기본 역학
- 불안감을 사용하여 성과를 향상시키는 7 가지 방법
- 감사와 함께 당신의 삶을 다시 활력을 불어 넣으십시오.
- 양육에서 가장 신비한 말씀
- 진정한 친밀감 : 왜 그렇게 중요하고 도전적인가?
병리학자를 AI에 추가하기
출처 : Wang et al. 이 그래픽을 생성했습니다.
또 다른 연구 (Rosenberg et al., 2018)는 인공 동력 메커니즘이 폐렴의 존재에 대해 흉부 엑스레이를 검토하는 전문가 방사선 전문의들 사이에서 “떼 지능”을 어떻게 사용했는지 설명합니다. 군대는 표준 방사선 전문의의 성과를 33 % 이겼지 만 스탠포드의 최첨단 심층 학습 시스템을 22 % 이겼습니다.
시디 키 (Siddiqui, 2018)는 인간 / AI 파트너십의 또 다른 사례를 설명했다. 숙련 된 의사는 아픈 천명의 어린이 중 한 명을 약 3/4의 시간 동안 구별 할 수 있습니다. 탐지 정확성을 높이고 놓친 아동 수를 줄이기 위해 일부 병원에서는 전자 건강 기록의 정량적 알고리즘을 사용하여 위험한 열을 선택합니다. 알고리즘은 전적으로 데이터에 의존하며 의사보다 정확하여 10 건 중 9 건의 심각한 감염이 발생합니다. 그러나 알고리즘에는 오경보가 열 번 발생했습니다. 필라델피아 병원의 한 병원은 걱정스러운 발열의 컴퓨터 기반 목록을 출발점으로 삼았지만, 감염이 치명적이라고 선언하고 정맥 약물 치료를 위해 병원에 데려 오기 전에 최고의 의사와 간호사가 아이들을 돌봐야했습니다. 그들의 팀은 알고리즘의 잘못된 경보를 높은 정확도로 제거했습니다. 또한 의사와 간호사는 컴퓨터가 놓친 사례를 발견하여 알고리즘만으로는 86.2 %에서 치명적인 감염의 탐지율은 인간의 인식과 함께 알고리즘에 의해 99.4 %로 나타났습니다.
전문가를 바보로 만드는 것은 쉽습니다. 그러나 그들의 능력을 일하게하는 것이 더욱 흥미롭고 성취합니다.
이 연구에 관심을 가져 주신 Lorenzo Barberis Canonico에게 감사드립니다.
참고 문헌
Rosenberg, L., Willcox, G., Halabi, S., Lungren, M., Baltaxe, D. & Lyons, M. (2018). 인공위성 지능은 방사선과에서 진단 정확도를 증폭시키는 데 사용됩니다. . IEMCON 2018 – 제 9 회 정보 기술, 전자 및 이동 통신 컨퍼런스
Siddiqui, G. (2018). 왜 의사들은 일을 쉽게하는 도구를 거부합니다. Scientific American, Observations newsletter , 2018 년 10 월 15 일
Wang, D., Khosla, A., Gargeya, R., Irshad, H., Beck, AH (2016). 전이성 유방을 확인하기위한 심층 학습. 미공개 용지.