새로운 AI 방법으로 Coveted NeurIPS 상 수상
ODE 네트워크는 혁신적인 심층 신경 네트워크 모델입니다.
출처 : pixabay / geralt
인공 지능 (AI)의 최근 돌파구는 컴퓨터가 명시적인 하드 코딩에서 실행되는 것이 아니라 다중 처리 계층을 거친 데이터로부터 학습 할 수있게하는 기계 학습 기술인 심층 학습 (deep learning)에 주로 기인합니다. 대부분의 심층 학습 모델은 인간 두뇌의 생물학적 뉴런에 의해 다소 영감을받은 건축 개념을 가진 인공 신경 네트워크입니다. 지난 달 NeurIPS 회의에서 토론토 대학의 인공 지능 연구원과 캐나다 토론토의 벡터 연구소 (Vector Institute)는 “Neural Ordinary Differential Equations”에 대한 “Best Paper Award”를 수상했습니다. 인공 지능에 중점을 둔 최대 규모의 회의 중 하나에 수천 건의 과학 논문이 제출되었습니다.
많은 레이어를 가진 심 신경 네트워크 훈련은 하나 또는 두 개의 계산 계층을 포함하는 얕은 아키텍처보다 훨씬 어렵습니다. 깊은 감독 신경 네트워크의 그라디언트 기반 교육의 과제 중 하나는 더 많은 계산 계층을 사용하면 성능 저하가 발생하는 것처럼 좋은 일반화에 도달하는 것이 더 어렵다는 것입니다. Microsoft Research의 Kaiming He와 그의 팀은 계층 입력을 참조하여 나머지 함수를 학습하는 것으로 계층을 재구성하여 성능 저하 문제를 해결했습니다. 잔여 네트워크는 유한 변환의 개별 시퀀스를 정의하여 작동합니다. 연구진은 잔여 네트워크가 네트워크 깊이가 증가함에 따라 정확성을 얻을 수 있고 최적화하기가 쉽다는 것을 발견했습니다.
그러나이 접근법은 데이터 입력이 불연속 간격이 아닌 AI 시스템에서 문제가 될 수 있습니다. 전통적인 재귀 신경망 시계열 아키텍처는 데이터를 입력하기 위해 이산 간격을 필요로합니다. 예를 들어 자동차를 타십시오. 잘 작동하는 차량은 일반적으로 정기적 인 정기 유지 보수를 위해 딜러를 방문 할 수 있습니다. 그러나 자동차 사고, 리콜 또는 예상치 못한 오작동이있을 때 어떤 일이 발생합니까? 실생활에서 데이터 포인트는 종종 임의의 시간에 발생합니다 – 이산 간격으로 데이터를 맞추는 것은 정확도가 떨어질 수 있습니다.
David Duvenaud, Jesse Bettencourt, Ricky TQ Chen 및 Yulia Rubanova의 인공 지능 연구 팀은 메모리와 매개 변수 모두에 효율적인 새로운 유형의 확장 가능한 심 신경 네트워크 모델을 선보였습니다. 이산 시퀀스의 유한 변환 레이어를 사용하는 대신 ODE (Ordinary Differential Equation) 네트워크로 구성된 연속 깊이 모델을 만들기 위해 미적분 원리를 적용했습니다.
연구팀은 신경망에 의해 지정된 상미 분 방정식 (ODE)을 사용하여 숨겨진 유닛의 연속적인 동역학을 매개 변수화했습니다. ODE 네트워크는 그라디언트를 계산하기 위해 adjoint 메서드를 사용하는 블랙 박스 미분 방정식 솔버를 사용하여 출력을 만듭니다.
이러한 구조적 접근에는 몇 가지 이점이있을 수 있습니다. 그들의 모델은 순방향 패스의 중간 값을 저장하지 않으므로 메모리와 관련하여 비용면에서 효율적입니다. 이 솔루션은 매개 변수에도 효율적입니다. 감독 학습 과제의 경우 숨겨진 단위 역학이 시간의 연속 함수로 매개 변수화될 때 인접 계층의 매개 변수가 자동으로 조인되기 때문에 필요한 매개 변수가 더 적습니다. ODE 네트워크 모델은 입력 데이터의 임의의 타이밍을 통합하도록 설계된 연속적인 시계열 모델입니다.
이러한 이점을 통해 ODE 네트워크는 건강 관리 환자 모니터링, 제조, 맞춤 의학, 과학 연구, 자율 차량, 약물 유전체학과 같이 시계열 데이터 이벤트가 정기적 인 간격으로 발생하지 않을 수있는 여러 영역에서 심층 신경 네트워크를 방해 할 수있는 잠재력이 있습니다. , 자산 추적 시스템, 금융 거래, 고객 서비스, 비즈니스 인텔리전스 및 더 많은 응용 프로그램을 제공합니다. 미래의 인공 지능을 한 차원 높일 수있는 잠재력을 지니고있는 심 신경 네트워크의 새로운 모델입니다.
참고 문헌
첸, Ricky TQ, Rubanova, Yulia, Bettencourt, Jesse, Duvenaud, David. “Neural Ordinary Differential Equations.” arXiv : 1806.07366 . 2018 년 6 월 19 일
Bengio, Yoshua. “AI를위한 심화 학습” 기계 학습의 기초와 동향 . Vol.2, no.1 (2009).
그는 Kaiming, Zhang, Xiangyu, Ren Shaoquing, Sun, Jian. “이미지 인식을위한 깊은 잔류 학습” arXiv : 1512.03385v1. 2015 년 12 월 10 일