Transformer

Transformer

https://www.youtube.com/watch?v=6s69XY025MU

 

많은 Transformer 영상들을 봤는데 기본적인 구조를 가장 잘 설명해주는 영상이다.(참고로 재밌다.)

요즘은 매일 일찍 출근해서 한 시간 정도 논문 영상을 보고 있다.

우선 Transformer를 다시 꾸준히 공부합시다.

 

Positional Encoding : 입력 문장에서 순서 정보를 기억, 저장

MaskedMulti-Head Attention : decoder영역에서 추론해야하는 단어의 뒤 문장들은 사용하지 않도록 Masking 처리