[AI] Training Steps, Epoch

Training Steps, Epoch

학부 연구생을 하며 같은 데이터셋을 각각 YOLOv5 모델과 SSD Mobile Net으로 학습시킨 후 성능 평가를 해야 하는 과제가 주어졌다. 그런데 YOLOv5를 학습시킬 때에는 epoch로 train 하이퍼 파라미터를 설정해줬는데 SSD Mobile Net으로 학습시킬 때에는 Training Steps라는 용어가 사용되었고 단위도 YOLO에서 처럼 100~300 이정도의 단위가 아니라 10,000, 20,000 이런 큰 단위였다.

구글을 통해 알게된 사실을 남기고자 한다.

 

epoch는 일반적으로 모든 훈련 데이터에 대한 하나의 반복을 뜻한다.

그래서,

epoch = (훈련에 사용되는 전체 이미지 개수 / 배치 사이즈) 단계

이다. 즉 모든 단계를 끝내고 나면 1epoch가 완료된 것이다.

이때 사용되는 바로 각각의 단계를 바로 1 training step이라고 한다.

 

예를 통해 알아보자.

YOLOv5 모델에서 배치 사이즈는 16, 총 훈련 이미지는 2084장, epoch는 100으로 모델을 훈련시켰다고 했을 때,

SSD Mobile Net 모델에서는 총 몇 training steps가 필요할까?

training steps = 2,084/16 * 100 = 13,025