본 실험에 사용될 기법은 Cosine Learning Rate Decay, Label Smoothing, Knowledge Distillation, Mixup 네 가지이며 아래 a~e와 같은 조합을 적용하여 실험을 진행한다.
-
Cosine Learning Rate Decay
(a) Cosine Annealing Learning Rate Schedule
Learning Rate가 0.0001에서 0까지 Cosine 곡선에 따라 감소할 수 있도록 아래와 같은 Optimizer와 Scheduler를 정의하여 사용한다.
import torch.optim.lr_scheduler as lr_scheduler
import torch.optim as optim
FOUND_LR = 1e-3
params = [
{'params': model.conv1.parameters(), 'lr': FOUND_LR / 10},
{'params': model.bn1.parameters(), 'lr': FOUND_LR / 10},
{'params': model.layer1.parameters(), 'lr': FOUND_LR / 8},
{'params': model.layer2.parameters(), 'lr': FOUND_LR / 6},
{'params': model.layer3.parameters(), 'lr': FOUND_LR / 4},
{'params': model.layer4.parameters(), 'lr': FOUND_LR / 2},
{'params': model.fc.parameters()},
]
optimizer = optim.Adam(params, lr = FOUND_LR)
if(CosineDecay):
scheduler = lr_scheduler.CosineAnnealingLR(optimizer, T_max=TOTAL_STEPS, eta_min=0,last_epoch=-1)
-
Label Smoothing
One-Hot 라벨을 0과 1사이의 Soft Label로 스무딩하고 예측치와 함께 CrossEntropy를 계산하기 위해 아래와 같은 Loss Function을 정의한다. Smoothing 파라미터는 0.1으로 한다.
import torch.nn as nn
class LabelSmoothingCrossEntropy(nn.Module):
def __init__(self):
super(LabelSmoothingCrossEntropy, self).__init__()
def forward(self, x, target, smoothing=0.1):
confidence = 1.-smoothing
logprobs = F.log_softmax(x, dim=-1)
nll_loss = -logprobs.gather(dim=-1, index=target.unsqueeze(1))
nll_loss = nll_loss.squeeze(1)
smooth_loss = -logprobs.mean(dim=-1)
loss = confidence * nll_loss + smoothing * smooth_loss
return loss.mean()
if(LabelSmoothing):
criterion = LabelSmoothingCrossEntropy()
-
Knowledge Distillation
Teacher Model의 예측치로부터의 KLDivergence Loss와 Base Model의 Loss 둘을 더한 Total Loss를 얻기 위해 아래와 같은 Loss Function을 정의한다. 파라미터 α와 T는 각각 0.1, 10으로 한다. 실험에서 Knowledge Distillation과 Label Smoothing 기법을 같이 적용할 경우 Student Model에 단순히 Label Smoothing Loss function을 적용할 수 없으므로 Label Smoothing 기법으로 학습한 Teacher Model을 사용하도록 한다.
class knowledge_distillation_loss(nn.Module):
def __init__(self):
super(knowledge_distillation_loss, self).__init__()
self.alpha = 0.1
self.T = 10
def forward(self, pred, labels, teacher_pred):
student_loss = F.cross_entropy(input=pred, target=labels)
distillation_loss = nn.KLDivLoss(reduction='batchmean')(F.log_softmax(pred/self.T, dim=1), F.softmax(teacher_pred/self.T, dim=1)) * (self.T * self.T)
total_loss = self.alpha*student_loss + (1-self.alpha)*distillation_loss
return total_loss
if(KnowledgeDistillation):
criterion = knowledge_distillation_loss()
teacher_model=ResNet(resnet152_config, OUTPUT_DIM)
teacher_model.load_state_dict(torch.load('tut5-teacher-model.pt'))
-
Mixup (α=1, 0.2, 0.1, 0.01)
Train set 두 개를 랜덤하게 불러온 뒤, 베타 분포에 의해 얻은 0과 1사이 값에 따라 입력 x와 라벨 y를 새롭게 정의한다. 참고 문헌 [3]에서 α의 변화(베타 분포에서 α=β로 사용)에 따라 다른 학습 결과를 얻는다고 하므로 본 실험에서는 α가 1, 0.2, 0.1, 0.01인 네 경우에 대해서 결과를 비교하고자 한다.
import torch.utils.data as data
import numpy as np
train_iterator = data.DataLoader(train_data,
shuffle = True,
batch_size = BATCH_SIZE)
if(Mixup):
mixup_iterator = data.DataLoader(train_data,
shuffle = True,
batch_size = BATCH_SIZE)
def train(model, iterator, optimizer, criterion, scheduler, device):
if(Mixup):
for (ox, oy), (mx, my) in zip(iterator, mixup_iterator):
lam = np.random.beta(alpha, alpha)
x = lam*ox+(1.-lam)*mx
y = lam*oy+(1.-lam)*my
y = y.to(torch.int64)
다음의 실험 방법 e~i는 a~d 기법의 조합으로 진행한다. 단, Label Smoothing과 Knowledge Distillation을 함께 사용하는 경우 c에서 언급한 방법을 적용한다.
-
Cosine Decay + Label Smoothing
-
Cosine Decay + Knowledge Distillation
-
Label Smoothing + Knowledge Distillation
-
Cosine Decay + Label Smoothing + Knowledge Distillation
-
Cosine Decay + Label Smoothing + Knowledge Distillation + Mixup (α=0.2, 0.01)
