[기계학습] Neural Network - history

Introduction 

Appearance of Deep 

딥러닝의 등장 배경 

2006년 역전파 알고리즘의 창시자 Jeffrey Hinton이 가중치 초기값을 잘 설정하면 Deep Neural Network도 학습이 가능하다는 사실을 증명했다. 

 

2007년 Yoshua Bengio 팀은 오토인코더를 활용한 더 간단한 pre-training 방식을 제안했다. 

 

→ 이 무렵부터 인공 신경망 (Artificial Neural Network) 대신 Deep이라는 용어가 본격적으로 사용되기 시작했다. 

 

 

🔎 사실 과거에는 인공신경망이 깊어질수록 학습이 어려워진다는 문제가 있었다. 

Hinton이 가중치 초기화와 사전 학습을 통해 이를 해결하며 딥러닝이 발전하게 되었다. 

 

 

오차 계산 

오토 인코더 : Autoencoder 

입력층과 출력층이 동일한 네트워크에 데이터를 입력하여 비지도학습을 하는 것이다. 

 

인코더 → 입력 데이터에 대한 특징을 추출

디코더 → 원본 데이터를 재구성하는 학습을 진행

 

가중치의 좋은 초기값을 얻는 목적으로 사용된다.

 

인공신경망이란? 

딥러닝의 기원이 인공신경망이다. 

인간 뇌는 수많은 뉴런으로 구성되어 있고, 이들은 시냅스를 통해 연결되어 있다. 

→ 이를 모방한 것이 인공신경망이다. 

 

즉, 신경망은 뉴런 간 연결을 인공적으로 구현한 구조인 것이다. 

 

 

🔎 뇌에서 뉴런은 전기 신호를 주고 받으며 정보를 처리하는데, 인공신경망에서는 이런 개념을 수학적으로 모델링 하였다. 

입력층 → 은닉층 → 출력층의 구조를 가지고 있다. 

 

 

Neural Mechanism for Neural Network 

뇌의 구조  🧠

수많은 뉴런이 시냅스를 통해 서로 연결되어 네트워크를 형성하며 다양한 기능을 수행한다. 

🔎 딥러닝의 신경망은 뇌의 이런 복잡한 연결 구조를 모방한 것에서 시작되었다. 

각 뉴런은 전기 신호를 통해 다른 뉴런과 정보를 주고받는다. 

 

 

뉴런의 구조 

Cell body (Soma, 세포체) - 처리 

신경 세포의 중심에 위치하며 정보를 받아들이고, 처리하며, 출력으로 전달한다. 

 

Dendrite (수상돌기) - 입력 

굵고 짧은 가지 모양의 돌기들이 뻗어 있으며 다른 뉴런으로부터 신호를 받아들이는 역할을 한다. 

 

Axon (축삭돌기) - 출력 

세포체에 붙어있는 가느다란 섬유로 전기신호를 전달하고 끝부분은 여러 갈래로 나뉘어져 있다. 

시냅스를 통해 다른 뉴런의 수상돌기와 연결된다.. 

 

뉴런간 정보 전달 메커니즘 

시냅스를 통한 정보 교환이 핵심으로 인간 대뇌피질에는 약 1천억개의 뉴런이 존재한다. 

각 뉴런은 약 천개의 수상돌기를 가지고 있으며, 전체 시냅스는 약 100조 개이다. 

 

뉴런의 주요 기능은 전기 신호를 생성하고 전달하는 것이다. 

 

🔎 이처럼 뉴런은 전기적인 자극을 통해 신호를 전달하는데, 인공신경망도 이와 유사하게 각 노드가 값을 계산하고, 그 결과를 다음 노드로 전파(forward propagation)하는 구조이다. 

 

 

컴퓨터와 사람 뇌 비교 

여기서 다른 점을 비교해보자. 

 

1. 시냅스 vs 트랜지스터 

뇌는 시냅스를 통해 정보를 유연하게 전달하고 기억하는 반면, 트랜지스터는 정해진 방식대로 신호를 처리한다. 

 

2. 병렬 vs 직렬 처리 

뇌는 여러 들으면서 말하는 등 여러 정보를 동시에 처리할 수 있는 반면, 컴퓨터는 대부분 한번에 한 가지 작업을 빠르게 처리한다. 

 

3. 고장 허용성 

뇌는 일부 뉴런이 죽어도 전체 기능이 유지되는 반면, 컴퓨터에서 층 하나가 죽게되면 전체에 영향을 미칠 수 있다. 

 

4. 지능/의식 

뇌는 감정, 기억, 자아 등 의식이 있는 반면, 컴퓨터는 (아직은)없다.

 

 

신경망의 역사 

 1. Progression (1943~1960)

1943: Pitts & McCulloch – 최초의 수학적 뉴런 모델 제안

1958: Rosenblatt, Perceptron 제안 → 인공신경망의 시작

 

2. Degression (1960~1980)

Perceptron의 한계

XOR 문제를 해결 못한다. 즉, 선형 분리가 불가능하다는 것 

 

1969 Minsky & Papert: "Perceptron으로는 XOR 불가능" 수학적으로 증명했다. 

MLP (Multi-layer Perceptron) 이론은 있었지만, 학습 방법(Backpropagation)이 부족하여 성능 향상 어려웠다. 

 

3. Progression(1980~1993)

1986: Backpropagation 알고리즘 재발견 (Rumelhart 등)

MLP 학습 가능해지며 신경망 연구 다시 활발해졌다. 

 

4. Degression (1993~2006)

SVM (Support Vector Machine), Graphical Models 등 대체 알고리즘 부상했고,딥러닝이 깊은 네트워크 학습 시 성능이 오히려 나빠지는 문제가 발생하였다. 

 

Yann LeCun (1998): CNN(합성곱 신경망) 제안한 이후 신경망에 대한 연구가 다시 활발해졌다. 

 

5. Progression (2006~현재)

2006, Hinton: DBN (Deep Belief Network) 제안 → 딥러닝 재조명되었다. 

Bengio 등: Deep Autoencoder 및 층별 학습 방법 개발되었다. 

 

GPU 기반 CNN 활용 활발해지고, 2012, AlexNet (Krizhevsky 등): 이미지넷 대회 우승하며 딥러닝 붐이 일어났다.