딥러닝 학습 과정 스토리
딥러닝 모델은 먼저 입력 데이터를 받는다. 예를 들어 고양이 이미지를 입력 받으면 컴퓨터는 이를 픽셀 값들의 집합, 즉 숫자 데이터로 인식한다.
CNN에서는 이 이미지에 Convolution을 적용한다. 컨볼루션은 커널(필터)을 이미지 위에서 이동시키며, 계산하여 선, 모서리, 질감과 같은 특징(패턴)을 추출하는 연산이다. 이렇게 추출된 패턴들은 여러 층(은닉층)을 거치며 점점 더 복잡한 특징으로 발전한다.
이후 신경망은 추출된 특징들을 이용하여 예측값을 생성한다. 예를 들어 “이 사진은 고양이일 확률이 80퍼센트이다.”와 같이 결과를 출력한다.
하지만 예측이 정확하지 않을 수 있다. 그래서 모델은 자신의 예측값과 실제 정답을 비교하여 이 차이를 계산한다. 이 수치가 바로 손실함수(Loss Function)이다. 손실값이 작다는 것은 모델의 예측이 정답에 가깝다는 것이다.
이제 모델은 이 손실값을 줄이기 위해 학습을 진행한다. 이때 사용되는 것이 역전파(Backpropagation)이다. 역전파는 출력층에서 계산된 오차를 입력 방향으로 거꾸로 전달하면서 각 가중치가 손실에 얼마나 영향을 주었는지 계산하는 과정이다.
이 과정에서 계산되는 값이 그레디언트(Gradient)이다. 그래디언트는 손실함수가 어느 방향으로 얼마나 변하는지를 나타내는 기울기 정보이다.
그리고 그래디언트 디센트(Gradient Descent)는 이 기울기를 이용하여 손실이 감소하는 방향으로 가중치를 조금씩 수정하는 최적화 방법이다. 쉽게 말하면 산 정상에서 가장 낮은 계곡을 향해 조금씩 내려가는 과정과 비슷하다.
이러한 과정을 반복하면서 모델은 점점 더 정확한 예측을 하게 된다.
학습 중 발생할 수 있는 문제
하지만 신경망이 깊어질수록 그래디언트가 층을 거치면서 점점 작아져 0에 가까워지는 문제가 발생할 수 있다. 이를 그래디언트 베니싱이라고 한다(Gradient Vanishing)이라고 한다.
그래디언트가 너무 작아지면 앞쪽 층의 가중치가 거의 업데이트 되지 않아 학습이 제대로 이루어지지 않는다.
이런 문제를 완화하기 위해 ReLU와 같은 활성화 함수를 사용한다. ReLU는 양수 구간에서 기울기를 유지하기 때문에 시그모이드 함수보다 그래디언트 소실 문제를 줄여준다.
과적합까지 연결
학습이 계속 진행된다고 해서 항상 좋은 것은 아니다. 모델이 학습데이터의 패턴 뿐만 아니라 노이즈까지 학습하게 되면 오버피팅(Overfitting)이 발생할 수 있다.
과적합된 모델은 학습 데이터에서 높은 성능을 보이지만, 새로운 데이터에서는 성능이 떨어지는 현상을 보인다. 즉 일반화 능력이 부족한 상태이다.
이를 해결하기 위해 학습 데이터의 양을 늘리거나, 모델의 복잡도를 줄이거나, 드롭아웃을 적용하거나, 조기 종료(Early Stopping)를 사용하는 방법이 있다.
SVM까지 연결
딥러닝 이전의 대표적인 머신러닝 알고리즘 중 하나로 SVM(Support Vector Machine)이 있다.
SNM의 목표는 데이터를 가장 잘 구분하는 결정 경계를 찾는 것이다.
하지만 현실 데이터는 대부분 직선으로 구분되지 않는다.
이때 사용하는 것이 커널(Kernel)이다.
SVM의 커널은 데이터를 더 높은 차원의 공간으로 변환하여 원래 공간에서는 선형 분리가 불가능한 데이터를 선형적으로 분리할 수 있게 만들어 준다.
대표적으로 Polynomial Kernel, RBF Kernel 등이 사용된다.
1분 요약 버전
"딥러닝은 입력 데이터를 받아 특징을 추출하고 예측을 수행합니다. CNN에서는 컨볼루션을 통해 이미지 특징을 추출합니다. 예측 결과와 정답의 차이는 손실함수로 계산하고, 역전파를 통해 각 가중치의 영향을 계산합니다. 이때 그래디언트를 이용하여 그래디언트 디센트로 가중치를 업데이트하며 학습합니다. 다만 깊은 신경망에서는 그래디언트 베니싱 문제가 발생할 수 있으며, ReLU 같은 활성화 함수로 이를 완화합니다. 또한 학습 과정에서 노이즈까지 학습하면 과적합이 발생하므로 드롭아웃이나 조기 종료 등을 통해 일반화 성능을 높입니다."