Transformer 바닥부터 이해하기 - 1. Attention 이해하기Attention의 내부를 뜯어보고 이해하기 위한 포스트를 작성합니다. Attention을 이해하기 위한 기반 지식Encoder-decoder ArchitectureAttention을 이해하기 위해서는 Encoder-decoder 아키텍처에 대해서 이해를 해ray5273.tistory.com이전 글인 Attention 이해하기에 이어서 이제는 제대로 Transformer를 이해해봅시다.혹시나 이전글을 읽지 않으셨다면 읽고 이 글을 읽으시면 이해가 훨씬 잘 될것입니다. Introduction이전 포스트에서 언급했듯 Transformer는 seq-to-seq model입니다.임의의 길이의 input sequence를 임의의 길이의 ou..

Attention의 내부를 뜯어보고 이해하기 위한 포스트를 작성합니다. Attention을 이해하기 위한 기반 지식Encoder-decoder ArchitectureAttention을 이해하기 위해서는 Encoder-decoder 아키텍처에 대해서 이해를 해야합니다.아래는 이미지를 Input, Output으로 하는 Encoder-Decoder 아키텍처의 예시입니다.간략히 요약하자면 아래와 같은 구조로 요약할 수 있습니다.Encoder Decoder 아키텍처는 Deep Learning 의 다양한 분야에서 활용되는 아키텍처입니다.아래와 같은 모델들의 기반 모델로 사용됩ㄴ디ㅏ.Auto Encoder입력 데이터 x를 받아서 압축하고 다시 원래의 데이터 y로 재구성 하는 모델입니다.U-net이미지 분할(Segme..

현재 사내에서 Build a Large Language 책에 대한 스터디를 진행중인데 지난주에 NLP 관련된 질문이 있어서 이를 정리하려고합니다.또한, NLP 대한 내용 중 Transformer 모델 이전의 내용을 다루고 있습니다. 1. Natural Language Processing (NLP) 란 무엇인가?NLP는 아래와 같은 두 가지 능력을 포함하는 개념이라고 합니다.1. Natural Language Understanding2. Natural Language Generation또한 NLP의 주요 목적은 컴퓨터를 이용해 human language를 다루는 것입니다.NLP를 통해 아래와 같은 동작을 할 수 있습니다.1. human - machine 사이의 communication - 질의 응답, 단락..

이전 문서들에 이어서 교수님의 강의를 기반으로 한 내용을 추가합니다. Few-Shot Learning 이해하기회사에서 AI 관련 교육이 있어서 내용을 정리 해 두려고 합니다.서울대학교 AI 교수님께서 Multi Modal과 관련된 내용을 하면서 나온 내용의 일부입니다.가장 처음으로 학습한 내용이 바로 Few-Shot Learay5273.tistory.com  Zero-shot learning, Metric Learning Approach 이해하기https://ray5273.tistory.com/entry/Few-Shot-Learning-이해하기 Few-Shot Learning 이해하기회사에서 AI 관련 교육이 있어서 내용을 정리 해 두려고 합니다.서울대학교 AI 교수님께서 Multi Modal과 관련된 ..