Transfer Learning and Fine Tuning

https://heeya-stupidbutstudying.tistory.com/entry/DL-Transfer-Learning-vs-Fine-tuning-%EA%B7%B8%EB%A6%AC%EA%B3%A0-Pre-training

[DL] Transfer Learning vs Fine-tuning, 그리고 Pre-training

 

https://velog.io/@xuio/Transfer-Learning%EA%B3%BC-Fine-Tuning

Transfer Learning과 Fine-Tuning

 

https://inhovation97.tistory.com/31

Transfer learning & fine tuning의 다양하고 섬세한 기법

 

결론 :

Transfer Learning의 방법 중 하나가 Fine Tuning이다.

 

 

Transfer Learning (전이학습)

새로운 데이터셋으로 다시 학습 시키는 것이다.

Pre-trained Model

 

끝 단의 레이어를 없애고 다른 레이어들을 추가로 붙인 모습

Fine-Tuning (미세조정)

얻고자 하는 결과값이 다를때 마지막 output layer를 삭제하고 다른 layers를 붙여서 모델을 다시 훈련시킨다.

 

훈련 예시

 

Task의 성격에 따른 Fine tuning 전략

Strategy

전략 설명

 

참고 사항