목록2024/11/05 (1)

BRICKSTUDY

Attention, Transformer를 알아보자

0. 개요안녕하세요 브릭스터디 박찬영입니다. 이번에는 Attention과 transformer에 대한 개념 공부를 했는데, 이를 공유하도록 하겠습니다. 이제는 거의 필수적인 인공지능 개념이 되어버린 녀석들인데, 저는 이제야 공부를 해봅니다. 열심히 제가 이해한 내용을 바탕으로 작성해보도록 하겠습니다.  1. Attention1) The bottleneck problem지난 포스팅에서 살펴봤었던, Encoder, Decoder 구조를 보면, 모든 Encoder의 정보가 Decoder의 첫번째 스테이지에서 처리가 되는 것을 볼 수가 있습니다. 여기서 bottleneck 문제가 발생하는 것이고, 이러한 경우에 input sequence가 길면, 문제가 발생할 수 있습니다.  그래서 문제를 해결하기 위한 간단한..
AI 2024. 11. 5. 05:43
이전 Prev 1 Next 다음