컨볼루션
커널을 이미지 위에서 이동시키며 계산하여 특징을 추출하는 연산
CNN 커널
선, 모서리 등의 특징을 찾기 위한 작은 필터
Softmax
출력값을 각 클래스의 확률로 변환하는 함수
손실함수
예측값과 실제값의 차이를 계산하는 함수
역전파
오차를 뒤에서 앞으로 전달하며 각 가중치의 영향을 계산하는 과정
그래디언트
손실함수의 기울기
그래디언트 디센트
손실을 줄이는 방향으로 가중치를 업데이트하는 방법
그래디언트 베니싱
깊은 신경망에서 그래디언트가 작아져 학습이 어려워지는 현상
과적합
학습 데이터에는 잘 맞지만 새로운 데이터에서는 성능이 떨어지는 현상
드롭아웃
일부 노드를 랜덤하게 꺼서 특정 노드 의존을 방지하는 기법
SVM 커널
데이터를 고차원 공간으로 변환하여 선형 분리가 가능하게 만드는 함수
Gradient
그래디언트는 손실함수의 기울기이며 손실이 증가하는 방향을 나타냅니다.
Gradient Descent
그래디언트의 반대 방향으로 이동하면서 손실을 최소화하는 최적화 방법입니다.
Backpropagation
출력층에서 계산된 오차를 뒤에서 앞으로 전달하며 각 가중치의 영향을 계산하는 과정입니다.
Gradient Vanishing
깊은 신경망에서 그래디언트가 점점 작아져 앞쪽 층이 학습되지 않는 현상입니다.
Convolution
커널을 이미지 위에서 이동시키며 계산하여 특징을 추출하는 연산입니다.
Softmax
출력값을 각 클래스에 속할 확률로 변환하는 함수입니다.
Attention
입력 데이터 중 중요한 부분에 더 집중하도록 가중치를 부여하는 메커니즘입니다.
Transformer
Self-Attention을 기반으로 순차 처리 없이 병렬적으로 데이터를 학습하는 모델입니다.
Transformer ↔ Attention 스토리
교수들이 좋아하는 질문.
Q. Transformer가 뭔가요?
Transformer는 Self-Attention을 기반으로 하는 딥러닝 모델입니다.
Q. Self-Attention이 뭔가요?
입력 데이터 안에서 어떤 정보가 중요한지 스스로 판단하여 더 높은 가중치를 부여하는 메커니즘입니다.
예시:
문장
"나는 사과를 먹었다. 그것은 맛있었다."
여기서
"그것"
이 무엇을 가리키는지 판단하기 위해
모델이
"사과"
에 높은 Attention을 주게 된다.
PCA
교수:
PCA가 뭔가요?
답:
PCA는 데이터의 분산을 가장 잘 설명하는 새로운 축을 찾아 차원을 축소하는 기법입니다.
1×1 Convolution
이건 의외로 자주 물어봄.
답:
특징맵의 채널 수를 줄이거나 늘리기 위해 사용하는 컨볼루션입니다.
예)
64채널 → 32채널
128채널 → 64채널
연산량 감소 목적.
MSE vs Cross Entropy
MSE
실제값과 예측값의 제곱 오차를 계산합니다.
주로 회귀.
Cross Entropy
예측 확률과 실제 클래스 간 차이를 계산합니다.
주로 분류.
Q. CNN에서 Convolution은 무슨 역할인가요?
CNN에서 Convolution은 이미지의 특징을 추출하는 역할을 합니다.
작은 필터인 커널을 이미지 위에서 이동시키며 계산하여 선, 모서리, 질감 등의 특징을 추출합니다.
초기 층에서는 단순한 특징을 학습하고, 깊은 층으로 갈수록 눈, 코, 얼굴과 같은 복잡한 특징을 학습하게 됩니다.
꼬리 질문
Q. 왜 특징을 추출해야 하나요?
원본 이미지에는 많은 정보가 포함되어 있기 때문에, 분류에 필요한 중요한 정보만 추출하기 위해 사용합니다.
Q. Softmax는 왜 쓰나요?
Softmax는 출력값을 각 클래스에 속할 확률로 변환하기 위해 사용합니다.
예를 들어 고양이, 강아지, 토끼를 분류한다고 하면 모델은 각각의 점수를 출력하는데, Softmax를 적용하면 이를 확률로 변환할 수 있습니다.
따라서 어떤 클래스로 분류할지 쉽게 판단할 수 있습니다.
예시
고양이: 0.8
강아지: 0.15
토끼: 0.05
→ 고양이로 예측
꼬리 질문
Q. Softmax는 주로 언제 사용하나요?
여러 클래스 중 하나를 선택하는 다중 분류 문제에서 사용합니다.
Q. Transformer와 Attention을 설명해보세요.
이건 거의 세트 질문이야.
Attention
Attention은 입력 데이터 중 중요한 부분에 더 집중하도록 가중치를 부여하는 메커니즘입니다.
모든 정보를 동일하게 처리하는 것이 아니라 중요한 정보에 더 높은 가중치를 주어 학습합니다.
예시
"나는 사과를 먹었다. 그것은 맛있었다."
여기서 "그것"이 무엇을 의미하는지 판단하기 위해 모델은 "사과"에 높은 Attention을 주게 됩니다.
Transformer
Transformer는 Self-Attention을 기반으로 하는 딥러닝 모델입니다.
기존 RNN처럼 순차적으로 처리하지 않고 병렬적으로 처리할 수 있어 학습 속도가 빠르고 긴 문장의 관계도 잘 학습할 수 있습니다.
현재 GPT, BERT와 같은 대규모 언어 모델의 기반이 되는 구조입니다.
꼬리 질문
Q. Transformer의 핵심은 무엇인가요?
Self-Attention입니다.
면접용 30초 버전
Convolution
Convolution은 커널을 이용하여 이미지의 선, 모서리 등의 특징을 추출하는 연산입니다.
Softmax
Softmax는 출력값을 각 클래스의 확률로 변환하는 함수입니다.
Attention
입력 데이터 중 중요한 정보에 더 높은 가중치를 부여하는 메커니즘입니다.
Transformer
Self-Attention을 기반으로 하며 병렬 처리가 가능한 딥러닝 모델입니다.
"왜 RNN 대신 Transformer가 많이 사용되나요?"
라고 물으면:
"RNN은 순차적으로 처리해야 해서 학습 속도가 느리고 긴 문장에서 정보 손실 문제가 발생할 수 있습니다. 반면 Transformer는 병렬 처리가 가능하고 Self-Attention을 통해 긴 거리의 관계도 잘 학습할 수 있어 현재 많이 사용됩니다."