Transformer 바닥부터 이해하기 - 1. Attention 이해하기Attention의 내부를 뜯어보고 이해하기 위한 포스트를 작성합니다. Attention을 이해하기 위한 기반 지식Encoder-decoder ArchitectureAttention을 이해하기 위해서는 Encoder-decoder 아키텍처에 대해서 이해를 해ray5273.tistory.com이전 글인 Attention 이해하기에 이어서 이제는 제대로 Transformer를 이해해봅시다.혹시나 이전글을 읽지 않으셨다면 읽고 이 글을 읽으시면 이해가 훨씬 잘 될것입니다. Introduction이전 포스트에서 언급했듯 Transformer는 seq-to-seq model입니다.임의의 길이의 input sequence를 임의의 길이의 ou..

Attention의 내부를 뜯어보고 이해하기 위한 포스트를 작성합니다. Attention을 이해하기 위한 기반 지식Encoder-decoder ArchitectureAttention을 이해하기 위해서는 Encoder-decoder 아키텍처에 대해서 이해를 해야합니다.아래는 이미지를 Input, Output으로 하는 Encoder-Decoder 아키텍처의 예시입니다.간략히 요약하자면 아래와 같은 구조로 요약할 수 있습니다.Encoder Decoder 아키텍처는 Deep Learning 의 다양한 분야에서 활용되는 아키텍처입니다.아래와 같은 모델들의 기반 모델로 사용됩ㄴ디ㅏ.Auto Encoder입력 데이터 x를 받아서 압축하고 다시 원래의 데이터 y로 재구성 하는 모델입니다.U-net이미지 분할(Segme..