CNN 등장 배경

MLP의 한계 

공간 정보(Spatial Information)의 손실 

2차원 구조의 영상을 1차원으로 변환하여 입력하게 되면 픽셀간의 공간적 관계 정보가 완전히 소실된다. 

이미지 내 물체의 위치 정보를 반영하지 못하기 때문에 이미지의 어디에 대상이 있는지 모르는 상황에서 분류 성능이 크게 저하된다. 

 

변환 불변성 : Translation Invariance 

위치 이동에 취약하고, 이미지의 작은 변형에도 민감하게 반응한다. 

MLP는 각 픽셀을 개별 노드로 학습하기 때문에 같은 패턴이라도 위치가 달라지면 다른 데이터로 취급한다. 

 

 

FC Layer의 과도한 파라미터 

데이터의 크기가 증가할 수록 FC Layer에서 사용되는 파라미터가 커져 부담이 된다. 

 

 

Local Feature Extraction의 부재 : 전역적인 학습 

단순히 학습된 가중치로만 정보를 이해한다. 

모든 픽셀이 각각의 가중치에 연결되기 때문에 부분적인 특징을 추출하지 못하고 전체적으로만 해석할 수 있다. 

 

 

CNN의 등장 

인간 시각을 모방한 CNN이 등장하였다. 

동물의 시각피질의 구조에서 영감을 받아 만들어진 딥러닝 신경망 모델로 딥러닝 성공에 가장 기여한 모델이다. 

 

 

CNN의 특징 

공간 정보 보존

MLP처럼 이미지 전체를 펼치지 않고, 작은 영역을 슬라이딩하면서 처리하기 때문에 위치 정보가 보존된다. 

 

파라미터 수 

Weight sharing과 Local receptive Field를 통해 학습 파라미터가 감소하였다. 

 

위치 변화 

Pooling Layer를 통해 변환 불변성을 확보하였다. 

이미지가 약간 이동하거나 왜곡되어도 여전히 같은 특징을 잡아낼 수 있다. 

 

특징 추출 : Feature Extraction 

Convolutional Filter를 통해 이미지의 Low-level에서 High-level 특징을 자동으로 학습한다. 

 

과적합 : Overfitting 

정규화 기법을 쉽게 적용할 수 있어 과적합에 강하다. 

 

 

Local Receptive Field 

CNN에서 각 뉴런이 입력 데이터에서 관찰 할 수 있는 국소적인 영역을 의미한다. 

CNN의 필터나 커널은 입력 이미지의 일부 영역만 집중적으로 학습한다. 

 

단일 필터가 보는 영역은 작지만, Layer가 깊어지면 그 필터가 간접적으로 보는 영역은 확장된다. 

즉, CNN이 깊어질수록 지역 수용야의 영향이 누적되어 더 넓은 영역을 학습할 수 있는 것이다.