생일 축하 AlphaZero

기계 지능과인지 심리 과학

알파 제로 만나자.

AlphaZero는 DeepMind가 개발 한 기계 학습 프로그램으로 인간의지도없이 깊은 학습을 통해 독창적 인 체스 플레이에 대한 통찰력을 얻었습니다. 이제는 최강 체스, 일본 장기 (장기), 세계 최고의 선수가되어 최고의 인간 선수와 최고의 체스 엔진을 꾸준히 이겨내고 있습니다. 내가 왜 그걸 생일 축하하기를 바랄까? 출생과 관련하여 축하를받는 이유는 무엇입니까? 짧은 대답은 AlphaZero가 2017 년 10 월에 통찰력을 얻었 기 때문에 내 견해에서 진정으로 지능적으로되었다는 것을 최근 알았 기 때문입니다. 그러므로 나의 뒤늦은 생일 축하 소원.

내 통찰력의 사용은 12/26/18에 뉴욕 타임스가 다음과 같이 보도 한 바 있습니다. “AlphaZero가 통찰력을 표현한 것처럼 보였습니다. 로맨틱하고 공격적인 스타일로 직관적이고 아름답게 컴퓨터를 사용 해본 적이 없었습니다. 그것은 노름하고 위험을 감수했습니다. ” Google의 “정의 : 통찰력”명령은 “사람 또는 사물에 대한 정확하고 깊이있는 직관적 인 이해를 얻을 수있는 능력”이라는 기본 정의를 반환합니다. 통찰력의 동의어는 직관력, 지각력, 인식력, 분별력, 이해력, 이해력, 염려함을 포함합니다. , 감상, 통찰력 및 우월함. 통찰력의 2 차적 정의는 “사람이나 사물에 대한 깊은 이해”입니다. 이것들은 진정으로 지적인 존재의 특성입니다.

Matthew Sandler와 Natasha Regan은 둘 다 영어 체스 마스터입니다. 그들은 Chess New에서 발행 한 Game Changer 라는 제목의 책을 ​​저술했으며, 여기서 그들은 체스와 Go의 게임에 대한 통찰력을 분석합니다. AlphaZero는 인간의지도없이 독자적으로 개발했습니다. AlphaZero는 자체적으로 체스를 배우는 동안 잘 알려진 개방과 전략을 발견했다고합니다. 그들은 인간 프로그래머가 제공 한 기존의 지혜에 제약을받지 않기 때문에 새로운 인상적인 창조적 장기 전략을 개발했다고도했다. 여기서 우리는 AlphaZero가 독자적으로 달성 한 통찰력에 찬사를 보내는 거장입니다. AlphaZero는 기존의 인간의 지혜가 보류 되었기 때문에 AlphaZero가 인간의 편견에서 벗어나 새로운 통찰력을 정확하게 얻을 수 있었다고 주장 할 수 있습니다. 통찰력을 얻을 수있는 능력은 진정으로 지능적인 인간의 특성입니다. 그러한 혁신적이고 주목할만한 지능의 “탄생”은 정중 한 인정을받을 자격이있다. 그러므로 나는 AlphaZero가 늦은 생일 축하를 기원합니다!

일반화 가능성

일반화 가능성은 타당도의 테스트입니다. 일반화 가능성은 전통적 규칙 기반 인공 지능 (AI) 프로그램에서 오랫동안 주요 문제였습니다. 그들의 업적은 매우 구체적인 작업으로 제한되어 왔습니다. 규칙 기반 프로그램은 고도로 전문화되어 있으며 특별히 수행하도록 프로그래밍 된 작업 만 수행 할 수 있습니다. 그들은 스스로 배울 수 없기 때문에 비슷한 일을 일반화하지 않습니다. 그들은 인간들에게 추가적인 새로운 규칙을 제공하기를 기다린다.

• 어떤 치료법이 실제로 도움이됩니까?
• 스포츠에 과학자와 예술가가 되십시오.
• Tech가 십대를 정말 괴롭 히고 있습니까?
• 놀랍게도 눈과 접촉하는 사회적 상호 작용
• Mindfulness가 충분하지 않을 때

체스, 쇼기, 고 (Go)를 가르침으로써 AlphaZero는 강화 학습을 통해 새로운 지식을 발견 할 수 있다는 것을 보여주었습니다. 스스로 학습함으로써 일반화하는이 능력은 주목할만한 업적입니다. 자체 학습은 진정한 지능의 특징입니다. 이 능력은 틀림없이 규칙 기반 인공 지능보다 뇌 기반 인공 지능의 우위를 확립합니다. 자세한 내용은 사용할 수 있습니다.

또 다른 DeepMind 프로젝트 인 AlphaFold라는 프로그램은 심층적으로 학습하는 뇌 기반 신경망 인공 지능 (AI) 방식을 사용하여 지금까지는 과학자들을 빠져있는 매우 복잡한 문제를 해결합니다. 나는 단백질 접힘 방법을 이해하는 것을 언급한다. 신체 내에서 단백질이 3 차원 구조로 접히는 방법은 새로운 의약품을 포함한 다른 분자에 어떻게 결합 할 것인가를 결정합니다. 그 지식은 새로운 의약품이 갖는 효과를 이해하고 예측하는 열쇠입니다. AlphaFold는 이제이 과정을 이해하는 데 진전을 보이고 있습니다.

이 블로그의 나머지 부분은 AlphaZero 및 AlphaFold와 같은 연결 기계가 얼마나 깊이 학습 하는지를 더 잘 이해할 수있게하는 몇 가지 기본 네트워크 원리를 제공하기 전에 뇌 기반 심리 모델을 사용하여 마음 기반 심리 모델을 대조합니다.

• 인간 개발과 관련된 종교
• 젠 (Zen)과 자존심을 버리는 신경 생물학
• 성적인 빈도는 우리의 무의식적 태도에 의해 영향을받을 수 있습니다.
• 너의 사춘기에 단조 하모니 (힘) 투쟁은 진짜이다 :
• 긍정적 인 동의에 대해 아이들을 가르친다.

브레인 기반 대 마인드 기반 모델

마인드 기반 모델

심리학은 인간 행동에 대한 마음에 근거한 설명이 내성에서 파생 된 자연 철학의 한 부분으로 시작되었습니다. 전통적인인지 심리학자들은 마음이 기호 조작을 지배하는 규칙을 따르기 때문에 사람들이 배우고 행동한다는 견해로 이러한 관행을 계속해 왔습니다. 이 이론이 틀렸다는 증거는 전문가에게 그들이 일할 때 따르는 규칙에 대해 묻는 것으로 얻을 수 있습니다. 전문가들은 일반적으로 그들이 일하는 어떤 종류의 규칙을 따르는 것을 인정하거나보고하지 않습니다. 그들은 초보자 일 때 규칙을 따를 수도 있었지만 전문가가되면서 규칙을 따르는 것 이상으로 나아갔습니다. 그러나 많은인지 심리학자들은 사람들이 생각하고 행동 할 때 규칙을 항상 따르는 것처럼 계속 행동합니다. 그것이 사실이 아닌 것처럼 행동하는 것이 전문적으로 편리 할 수도 있지만 그렇게하는 것은 다음에 보게 될 것처럼 성공적이지 못합니다.

규칙 기반 기호 조작 방식은 인공 지능을 만드는 초기 노력을 특징으로했습니다. 예를 들어, 컴퓨터는 한때 체스 게임에 대한 규칙이 매우 많았지 만 잘 수행되지 못했습니다. 컴퓨터는 사진이나 비디오에서 사람들을 식별하는 데 매우 많은 규칙으로 프로그램되었지만 시간이별로 없었으며 실시간으로 그렇게 할 수 없었습니다. 규칙 기반 접근법의 한계가 분명하지만 많은인지 심리학자들은 인간 행동을 규칙과 규칙 준수 측면에서 계속 설명합니다. 왜냐하면 항상 그렇게했기 때문이며 자신의 컴퓨터 메타포를 지원하기 때문입니다. 그들은 컴퓨터 하드웨어처럼 행동하는 두뇌와 사람들이 생각하고 느끼고 행동하는 방식을 통제하는 컴퓨터 프로그램과 같은 규칙이있는 컴퓨터 소프트웨어처럼 작동하는 마음을 이해합니다.

이 같은인지 심리학자들은 AlphaZero와 같은 심화 학습 AI 시스템의 업적을 존경하지만, 우리가 일반적으로 이해하는 것처럼 기호를 생성하거나 규칙을 따르지 않기 때문에 사고 방식을 이해할 수 없기 때문에이를 신뢰하지 않습니다. 따라서 AlphaZero는 이러한인지 심리학자와 그들이 이해하는 방식으로 의사 소통 할 수 없습니다. 여기서 문제는 AlphaZero가 마음이 말하는 것과 달리 뇌가하는 것처럼 배우는 것입니다. AlphaZero가 뇌가 어떻게 작동하는지 이해하는 것과 관련이 있다고 생각하는 방법을 이해하는 새로운 방법이 필요합니다. 이 새로운 접근법은 또한 신경 네트워크 모델을 기반으로하는인지 심리학을 이해하는 데 사용될 수 있습니다.

두뇌 기반 모델

신경망, 깊은 학습 및 기계 지능으로도 알려진 연결주의 신경망 모델은 알파 제로 (Alpha Zero)의 작동 원리를 설명하고 설명합니다. 이 모델들은인지 심리학을 설명하기 위해 뇌 기반 접근법을 사용합니다. McClelland와 Rumelhart와 Rumelhart와 McClelland가 1986 년에 그들의 정식 작품을 발표 한 이래로 그들은 진지하게 연구되었습니다. 2014 년에 저는 인지 신경 과학과 정신 요법 이라고하는 나의 책에서 두뇌 기반의 연결 주의자 신경망 설명 심리학 접근법을 발표했습니다 . 이론 . 그것은 1986 년 이후로 개입 된 수십 년 동안의 발전을 반영합니다.

신경망 모델은 실제 뉴런과 동일한 기능적 특성을 갖는 상호 연결된 처리 노드의 세 개 이상의 레이어로 구성됩니다. 예를 들어, 각각의 인공 뉴런은 실제 뉴런과 마찬가지로 많은 다른 인공 뉴런으로부터 입력을받습니다. 각각의 인공 뉴런은 이러한 입력을 합계하고 입력의 합이 실제 뉴런처럼 임계 값을 초과하면 출력을 생성합니다.

인공 뉴런은 연결 가중치 (connection weights)라고하는 시뮬레이션 된 시냅스에 의해 서로 연결됩니다. 이러한 가중치는 초기에 작은 임의 값으로 설정됩니다. 학습과 기억은 학습 시험보다 이러한 가중치를 점진적으로 조정하여 발생합니다. 최종 결과는 처리 노드가 고려중인 타스크의 최적 가중치로 상호 연결된 네트워크입니다. 연결 가중치는 연결 주의자라는 용어가 생략되는 경우가 많은 연결자 신경망 모델의 기능에 매우 중요합니다. 연결주의 신경망 시스템은 규칙을 따르는 것처럼 행동하지만 규칙을 이해하거나 규칙을 따르지 않으며 결코 기호를 생성하지 않습니다. 추가 세부 사항은 다음 섹션에서 제공됩니다.

두뇌 기반 모델의 이해

AlphaZero 및 기타 심층적 인 인공 지능으로 사용되는 신경 네트워크 시스템을 이해하는 가장 좋은 방법은 이들을 지배하는 원칙을 이해하는 것입니다. 이러한 네트워크 원리는 또한 신경망 특성으로 이해 될 수 있습니다. 나는 이제이 원리들 / 특성들 중 네 가지를 논의한다. 다른 것들도 있지만 네 가지가 근본적이며 당신을 시작해야합니다. 자세한 내용은 Tryon (2012, 2014)을 참조하십시오.

원리 / 재산 1 : 건축

실제 두뇌의 신경 구조는 기능에 중요합니다. 예를 들어, 소뇌에는 근육을 빠르게 제어 할 수있는 특수 회로가있어서 걷고 뛰고 운동 할 수 있습니다. 마찬가지로, 인공 신경망의 구조는 그 기능에 중요합니다. 예를 들어 퍼셉트론 (Perceptrons)이라고 불리는 두 개의 레이어를 가진 신경망은 특정 논리적 문제를 해결할 수 없습니다. 세 개 이상의 레이어를 가진 네트워크는 모든 논리적 인 문제를 해결할 수 있습니다. 다층 신경망은 잠재적으로 모든 유형의 문제를 해결할 수 있다는 수학적 증명이 있습니다. 이 주장에 대한 수학적 증명을 위해 Hornik, Stinchcombe and White (1989, 1990)를 참조하십시오.

원리 / 재산 2 : 네트워크 캐스 캐 이드 : 무의식적 인 처리

인공 뉴런에 의해 생성 된 활성화는 실제 뉴런에 의해 생성 된 활성화가 실제 두뇌 네트워크를 가로 질러 어떻게 캐스케이드 하는지를 반영하는 아래에 설명 된 방식으로 인공 신경 네트워크를 가로 질러 캐스케이드됩니다. 대부분의 뇌 처리는 무의식적으로 발생합니다. 유명한 빙산 비유는 이러한 사건을 정확하게 반영합니다. 물속에있는 빙산의 90 퍼센트는 무의식적 인 두뇌 처리를 나타내고 비례합니다. 물 위에있는 빙산의 10 퍼센트는 의식있는 뇌 처리를 나타내며 그에 비례합니다. 자세한 내용은 Cohen, Dunbar 및 McClelland (1990)를 참조하십시오.

다음 그림은 네트워크 캐스케이드 작동 방식을 보여줍니다. 매우 간단한 네트워크이지만이 페이지에 적합해야합니다. 3 개의 원으로 구성된 최상위 레이어는 3 개의 입력 뉴런을 시뮬레이션합니다. 그들은 감각 뉴런으로 이해 될 수 있습니다. 원 안에있는 숫자 “1”은 시뮬레이션 된 뉴런이 활성화되었음을 나타냅니다. 숫자 “0”은 시뮬레이션 된 뉴런이 비활성임을 나타냅니다. 함께이 시스템에 대한 세 가지 입력을 1, 0, 1로 정의합니다.

예시적인 신경망

출처 : Warren W. Tryon

다음 두 개의 레이어에서 시뮬레이트 된 뉴런의 “on”, “off”상태는 할당되지 않고 계산됩니다. 3 세트의 3 세트의 두 번째 레이어는 입력 레이어의 맨 위에있는 시뮬레이트 된 뉴런과 세 번째 레이어에있는 세 개의 추가 시뮬레이션 된 뉴런을 연결하는 시냅스를 시뮬레이트합니다. 두 번째 행에있는 세 개의 상자의 왼쪽 집합은 맨 위 행의 왼손 시뮬레이션 된 뉴런과 세 번째 행의 세 개의 시뮬레이션 된 뉴런을 연결하는 시뮬레이션 된 시냅스를 나타냅니다. 두 번째 행에있는 세 개의 상자의 중간 집합은 맨 위 행에있는 중간 시뮬레이션 된 뉴런과 세 번째 행에있는 세 개의 시뮬레이션 된 뉴런을 연결합니다. 두 번째 행에있는 세 개의 상자의 오른쪽 집합은 맨 위 행의 오른손 시뮬레이션 된 뉴런과 세 번째 행의 세 개의 시뮬레이션 된 뉴런을 연결하는 시뮬레이션 된 시냅스를 나타냅니다. 포지티브 엔트리는 여기를 시뮬레이션합니다. 음수 항목은 억제를 시뮬레이션합니다. 이 값은 시뮬레이션 된 두 개의 뉴런 사이의 연결 강도를 지정하기 때문에 연결 가중치라고합니다. 현재 값은 두 가지 방법 중 하나로 생각할 수 있습니다. 한 가지 가능성은 시작시 임의로 할당 된 첫 번째 값이라는 것입니다. 또 다른 가능성은 임의의 처리 단계에서 네트워크의 상태를 반영한다는 것입니다.

세 번째 계층에서 세 개의 시뮬레이션 된 뉴런의 on = 1, off = 0 상태가 할당되지 않고 계산됩니다. 이제 관련 계산을 자세히 설명합니다. 세 번째 행에있는 세 개의 시뮬레이션 된 뉴런은 각각 세 개의 입력을가집니다. 첫 번째 행의 시뮬레이션 된 각 뉴런에서 하나씩. 이러한 입력은 송신 뉴런의 상태와 동일합니다 (활성 인 경우 1, 비활성 인 경우 0, 연결 가중치에 다음과 같이 곱함). 제 3 층의 좌측 뉴런에 대한 입력은 1 (.1) +0 (- 2) + 1 (. 3) = .4와 동일하다. 이 결과는이 경우 0이지만 다른 값일 수있는 임계 값과 비교됩니다. 입력의 합이 0을 초과하면 양의 값을 가지며,이 경우에는 왼쪽에있는 시뮬레이션 된 뉴런이 활성화되거나 활성화 된 상태로 유지됩니다 제 3 층에서 왼손 시뮬레이션 된 뉴런을 나타내는 원. 무언가가 0이기 때문에 여러 입력의 합은 활성 시뮬레이션 된 송신 뉴런과 관련된 연결 가중치의 합과 같습니다.

세 번째 행의 중간 시뮬레이션 된 뉴런에 대한 입력은 1 (.3) +0 (.1) + 1 (.2) = .5입니다.이 값이 양수이면이 시뮬레이션 된 뉴런이 원에서 1로 표시됩니다. 3 번째 행의 오른쪽 시뮬레이션 된 뉴런에 대한 입력은 1 (-. 1) + 0 (.3) + 1 (- 3) = – 4입니다.이 시뮬레이션 된 뉴런을 비활성화하면 이전에 그 원에 숫자 0으로 표시된대로.

다섯 번째 행에있는 두 개의 시뮬레이션 된 계산 된 뉴런의 상태는 세 번째 행에있는 세 개의 뉴런의 계산 된 상태와 네 번째 행의 상자에있는 시뮬레이션 된 시냅스, 연결 가중치에 의해 제어됩니다. 다섯 번째 행의 왼손 시뮬레이션 된 뉴런은 1 (- 2) + 1 (- 2) + 0 (0.4) = – 4의 입력 값의 합이 음수이므로 0의 임계 값 아래에 있기 때문에 비활성 상태가됩니다 . 다섯 번째 행의 오른손 시뮬레이션 된 뉴런은 1 (.2) + 1 (.1) +0 (.3) = .3의 입력 합이 양수이므로 0의 임계 값을 초과하므로 활성화됩니다.

상단, 입력, 층에서의 시뮬레이션 된 뉴런의 활성화는 시뮬레이션 된 시냅스를 가로 질러 나머지 시뮬레이션 된 뉴런에 캐스케이드 된다. 이 프로세스는 자동적이고 결정적입니다.

원칙 3 / 재산 : 경험 의존적 인 가소성

모든 것이 그대로 유지되면 네트워크는 항상 동일한 결과를 계산합니다. 개발이 이루어지지 않을 것입니다. 입력 값이 변경되면 네트워크가 다른 결과를 계산합니다. 그러나 연결 가중치가 동일하게 유지되면 네트워크가 더 잘 수행되도록 배울 수 없습니다. 학습을 위해서는 연결 가중치가 변경되어야합니다. 변화의 양은 우리가 기억을 형성하고 형성 할 때 실제 뉴런 사이의 실제 시냅스를 수정하는 경험 – 의존성 시냅스 소성 생물학적 메커니즘의 효과를 시뮬레이션하는 방정식에 의해 결정됩니다.

연결 가중치를 변경하면 네트워크가 기존의 자극 입력 값에 대한 새로운 응답을 계산합니다. 연결 가중치는 점차적으로 향상된 네트워크 응답을 보장하는 그래디언트 강하 방법에 따라 변경됩니다.

저는 여기서 세 가지 홈 포인트를 제공하고자합니다. 제가 강조하고 싶은 첫 번째 요점은 학습과 기억이 모든 심리학의 근본이라는 것입니다. 왜냐하면 우리가 시냅스 수정을 통해 기억을 배우고 형성 할 수 없다면 심리가 존재하지 않기 때문입니다. 내가 강조하고자하는 두 번째 요점은 우리 심리학의 모든 측면이 승인 (2012)이 우리의 connectome 이라고 부르는 것에 포함된다는 것입니다. 우리 시냅스의 완전한 수집. 제가 강조하고자하는 세 번째 요점은 경험에 의존적 인 소성 메커니즘이 우리의 경험이 우리의 두뇌를 물리적으로 변화 시켜서 생각하고 느끼고 행동하는 방식을 바꿀 수 있다는 것입니다. 이 과정에 관해 정신적이거나 마 법적 일은 없습니다.

원칙 4 / 속성 : 강화 학습

BF 스키너 (Skinner)와 같은 행동 심리학자들은 행동을 강화하는 긍정적 또는 부정적 결과에 의한 보강을 통해 행동이 강화되고보다 가능성이 높아진다 고 설명했다. 그는 행동을 변화시킬 수있는 시냅스 변화의 물리적 과정을 설명 할 수 없으므로 조건부 쥐가 변화된 쥐로 살아남았다 고 주장함으로써 변화를 인정했다. 그는 경험이 뇌를 변화 시키지만 학습과 기억의 생물학은 초기 단계 였기 때문에 더 유익하지 못하다는 것을 깨달았습니다.

강화 학습은 이제 훨씬 더 잘 이해됩니다. 이것은 학습과 기억이 기호를 조작하는 규칙을 따르는 정신 기반인지 관점에서 의미가없는 점진적인 과정입니다. 기호는 한 번에 조금씩 생성되지 않습니다. 기호가 한 번에 조금씩 바뀔 수도 있고, 한 번에 조금씩 기호의 의미가 변경 될 수도 있습니다. 그러므로 보강 학습이인지가 어떻게 작용하는지 설명 할 수없는 것처럼 보였습니다.

그러나 보강 학습은 위에서 언급 한 뇌 기반 연결 주의자 신경 네트워크의 관점에서 큰 의미를 갖습니다. 즉, 뉴런 간의 연결 가중치가 무작위로 시작하여 학습을 통해 점진적으로 조정되어 점진적인 변화 과정을 통해 최적의 값으로 수렴됩니다 그라디언트 디센트라고도합니다.

AlphaZero는 강화 학습의 점진적 프로세스를 통해 탁월한인지 능력을 개발했습니다. 이 성과는 전통적인인지 심리학자들이인지 과정의 발전에 대한 유효한 설명으로서 강화 학습을 할인하는 것은 잘못되었음을 보여줍니다.

강화 학습은 변화 와 선택 에 결정적으로 의존하기 때문에 진화의 한 형태입니다. 성공과 실패는 공동으로 미래의 행동을 형성합니다. 스키너 (Skinner)는 동물과 인간의 행동이 계통 발생 론적으로 (일생 동안)뿐만 아니라 많은 세대에 걸쳐 발생한다고 주장했다. 강화 학습은 연결 주의적 인공 지능 시스템이 자신의 경험을 통해 배우는 효과적인 방법입니다. 강화 학습은 솔루션을 프로그래밍하기에는 너무 복잡한 문제를 효과적으로 해결합니다. 예를 들어, 차를 스스로 운전하도록 가르치는 데 사용되는 방법입니다.

결론

AlphaZero는 통찰력이있는 뇌 기반의 슈퍼 인공 지능으로 전통적인 인공 지능 기계보다 훨씬 인간처럼 만듭니다. 전통적인 규칙 기반 인공 지능이 할 수없는 방식으로 학습을 일반화 할 수 있습니다. 강화 학습을 통해 시뮬레이션 된 시냅스를 신속하게 조정합니다. 일반적으로 이해되는대로 기호를 생성하거나 규칙을 공식적으로 따르지 않습니다. 따라서 AlphaZero 및 AlphaFold와 같은 신경망 지능은 전통적인인지 심리학자가 어떻게 작동하는지 이해하는 데 도움이되지 않습니다. 이를 수행하려면 신경 네트워크 방향이 필요합니다. 위에 언급 된 네 가지 신경 회로망 원리 / 특성은 AlphaZero와 같은 인공 지능을 더 잘 이해하는 데 도움이 될 수 있습니다.

AlphaZero의 성공은 우리에게 적어도 두 가지를 말해줍니다. 첫째 , 통찰력을 얻을 수있는 능력을 포함한 복잡한인지 기술 습득을 설명하기에 강화 학습이 충분하다는 경험적 증거를 제시합니다. 둘째 , 마음 기반 모델에 비해 뇌 기반 모델의 타당성을 뒷받침합니다. 이것은인지 심리학의 주요 패러다임 변화를 구성합니다.

생일 축하합니다 AlphaZero!

참고 문헌

Cohen, JD, Dunbar, K., & McClelland, JL (1990). 자동 프로세스 제어 : Stroop 효과의 병렬 분산 처리 계정. Psychological Review, 97, 332-361. doi : 10.1037 // 0033-295X.97.3.332

Hornik, K., Stinchcombe, M., & White, H. (1989). 다중 레이어 피드 포워드 네트워크는 보편적 인 근사입니다. Neural Networks, 2, 359-366. doi : 10.1016 / 0893-6080 (89) 90020-8

Hornik, K., Stinchcombe, M., & White, H. (1990). 다층 피드 포워드 네트워크를 사용하여 알 수없는 매핑 및 그 미분의 범용 근사. Neural Networks, 3, 551-560. doi 10.1016 / 0893-6080 (90) 90005-6

McClelland, JL, Rumelhart, DE 및 PDP Research Group (1986). 병렬 분산 처리 :인지의 미세 구조에 대한 탐구, Vol. 2 : 심리적, 생물학적 모델 . 캠브리지, MA : MIT Press.

Rumelhart, DE, McClelland, JL 및 PDP 연구 그룹 (1986). 병렬 분산 처리 :인지의 미세 구조에 대한 탐구, Vol. 1 : 기초 . 캠브리지, MA : MIT Press.

Seung, S. (2012). Connectome : 두뇌의 배선이 우리를 어떻게 만드는지 . 보스톤 : Houghton Mifflin Harcourt.

Tryon, WW (2012). 심리 과학에 대한 연결 주의적 네트워크 접근법 : 핵심적이고 근본적인 원칙. 일반적인 심리학, 16 , 305-317의 검토 . doi : 10.1037 / a0027135

Tryon, WW (2014). 인지 신경 과학 및 심리 요법 : 통합 이론을위한 네트워크 원리 . 뉴욕 : Academic Press.