Linear Classifier
- Score Function: 영상 데이터 x(1N)와 가중치 W(NClass)를 입력으로 하여 Score(1*Class) 출력을 얻어냄.
- Loss Function: 출력 Score가 Target Score(정답 라벨)과 가까워질 수 있도록 가중치 W와 Bias를 조정함. Loss Function이 하락함에 따라 예측치와 정답치의 불일치가 떨어졌음을 의미함.
- 선형적으로 분류하기 힘든 상황을 해결하기 위해 레이어 통과 후 비 선형성을 위한 Sigmoid, tanh, LeLu 등의 Activation Function을 추가함.
SVM loss
Loss를 정답이 아닌 클래스의 Score - 정답인 클래스의 Score + 정해놓은 Delta(Margin)로 하며 그 외에는 Loss를 0으로 정의함. Loss는 0보다 크거나 같은 Hinge 형태의 형상을 띔.
Softmax Classifier(Cross-Entropy loss)
Score를 확률과 같이 표현하기 위해 Class의 Score 합이 1이며 각 Score가 0과 1사이 값을 가지도록 정규화 함.
Cross-Entropy loss를 이용해 두 개의 확률 분포 p(정답), q(예측)의 괴리를 비교할 수 있음.
SVM과는 달리 학습이 오래 진행되더라도 Loss가 0이 되지 않기 때문에 딥러닝의 대부분 문제는 SVM보다는 Softmax를 사용하고 있음.
Gradient Descent
Loss function은 가중치 w에 대한 함수로 표현할 수 있는데 w에 대한 순간적인 기울기를 구해 w가 이상적인 값에 도달할 수 있도록 하는 것
-
Gradient check
w에 대해 기울기를 구하는 방법은 계산 속도가 느린 Numerical 방법과 빠르지만 오차(에러)가 나타나기 쉬운 Analytic 방법이 있음. 미분 공식을 이용한 Analytic 방법을 주로 사용하되 틈틈히 Numerical 방법도 사용하여 Gradient를 검사하는 것.
Computational Graph
Gradient를 위해 Analytic 방법 사용은 모델 알고리즘 변경, 유지, 보수에 많은 비용이 들게 함.
따라서 Chain rule을 이용하여 원하는 파라미터의 기울기를 구하고자 함.
구하고자 하는 파라미터의 Gradient를 구하고자 할 때 복잡한 연산 보다는 각 노드에서 Upstream Gradient와 Local Gradient를 구하고 Chain rule을 적용하여 구하고자 하는 편미분 값까지 차례차례 구하는 방식
이 때, 위와 같은 패턴이 관찰됨