Transformer 바닥부터 이해하기 - 1. Attention 이해하기Attention의 내부를 뜯어보고 이해하기 위한 포스트를 작성합니다. Attention을 이해하기 위한 기반 지식Encoder-decoder ArchitectureAttention을 이해하기 위해서는 Encoder-decoder 아키텍처에 대해서 이해를 해ray5273.tistory.com Transformer 바닥부터 이해하기 - 2. Transformer 구조Transformer 바닥부터 이해하기 - 1. Attention 이해하기Attention의 내부를 뜯어보고 이해하기 위한 포스트를 작성합니다. Attention을 이해하기 위한 기반 지식Encoder-decoder ArchitectureAttention을 이해하기 위ra..
Transformer 바닥부터 이해하기 - 1. Attention 이해하기Attention의 내부를 뜯어보고 이해하기 위한 포스트를 작성합니다. Attention을 이해하기 위한 기반 지식Encoder-decoder ArchitectureAttention을 이해하기 위해서는 Encoder-decoder 아키텍처에 대해서 이해를 해ray5273.tistory.com이전 글인 Attention 이해하기에 이어서 이제는 제대로 Transformer를 이해해봅시다.혹시나 이전글을 읽지 않으셨다면 읽고 이 글을 읽으시면 이해가 훨씬 잘 될것입니다. Introduction이전 포스트에서 언급했듯 Transformer는 seq-to-seq model입니다.임의의 길이의 input sequence를 임의의 길이의 ou..
Attention의 내부를 뜯어보고 이해하기 위한 포스트를 작성합니다. Attention을 이해하기 위한 기반 지식Encoder-decoder ArchitectureAttention을 이해하기 위해서는 Encoder-decoder 아키텍처에 대해서 이해를 해야합니다.아래는 이미지를 Input, Output으로 하는 Encoder-Decoder 아키텍처의 예시입니다.간략히 요약하자면 아래와 같은 구조로 요약할 수 있습니다.Encoder Decoder 아키텍처는 Deep Learning 의 다양한 분야에서 활용되는 아키텍처입니다.아래와 같은 모델들의 기반 모델로 사용됩ㄴ디ㅏ.Auto Encoder입력 데이터 x를 받아서 압축하고 다시 원래의 데이터 y로 재구성 하는 모델입니다.U-net이미지 분할(Segme..
1. Video, Audio, Text의 Embedding model은 어떤 종류가 있고 어떻게 다르게 생겼는지?Video embedding의 예시Multimodal Embeddings API | Generative AI on Vertex AI | Google Cloud Multimodal Embeddings API | Generative AI on Vertex AI | Google Cloud의견 보내기 Multimodal Embeddings API 컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요. Multimodal Embeddings API는 제공된 입력에 따라 벡터를 생성하며, 여기에는 이미cloud.google.com구글에서 제공하는 Video Embed..
Few-Shot Learning 이해하기회사에서 AI 관련 교육이 있어서 내용을 정리 해 두려고 합니다.서울대학교 AI 교수님께서 Multi Modal과 관련된 내용을 하면서 나온 내용의 일부입니다.가장 처음으로 학습한 내용이 바로 Few-Shot Learay5273.tistory.com Zero-shot learning, Metric Learning Approach 이해하기https://ray5273.tistory.com/entry/Few-Shot-Learning-이해하기 Few-Shot Learning 이해하기회사에서 AI 관련 교육이 있어서 내용을 정리 해 두려고 합니다.서울대학교 AI 교수님께서 Multi Modal과 관련된 내용을 하면ray5273.tistory.com Meta Learning ..
현재 사내에서 Build a Large Language 책에 대한 스터디를 진행중인데 지난주에 NLP 관련된 질문이 있어서 이를 정리하려고합니다.또한, NLP 대한 내용 중 Transformer 모델 이전의 내용을 다루고 있습니다. 1. Natural Language Processing (NLP) 란 무엇인가?NLP는 아래와 같은 두 가지 능력을 포함하는 개념이라고 합니다.1. Natural Language Understanding2. Natural Language Generation또한 NLP의 주요 목적은 컴퓨터를 이용해 human language를 다루는 것입니다.NLP를 통해 아래와 같은 동작을 할 수 있습니다.1. human - machine 사이의 communication - 질의 응답, 단락..
이전 문서들에 이어서 교수님의 강의를 기반으로 한 내용을 추가합니다. Few-Shot Learning 이해하기회사에서 AI 관련 교육이 있어서 내용을 정리 해 두려고 합니다.서울대학교 AI 교수님께서 Multi Modal과 관련된 내용을 하면서 나온 내용의 일부입니다.가장 처음으로 학습한 내용이 바로 Few-Shot Learay5273.tistory.com Zero-shot learning, Metric Learning Approach 이해하기https://ray5273.tistory.com/entry/Few-Shot-Learning-이해하기 Few-Shot Learning 이해하기회사에서 AI 관련 교육이 있어서 내용을 정리 해 두려고 합니다.서울대학교 AI 교수님께서 Multi Modal과 관련된 ..
이전 글에 이어서 작성합니다. Few-Shot Learning 이해하기회사에서 AI 관련 교육이 있어서 내용을 정리 해 두려고 합니다.서울대학교 AI 교수님께서 Multi Modal과 관련된 내용을 하면서 나온 내용의 일부입니다.가장 처음으로 학습한 내용이 바로 Few-Shot Learay5273.tistory.com Zero-shot learning, Metric Learning Approach 이해하기https://ray5273.tistory.com/entry/Few-Shot-Learning-이해하기 Few-Shot Learning 이해하기회사에서 AI 관련 교육이 있어서 내용을 정리 해 두려고 합니다.서울대학교 AI 교수님께서 Multi Modal과 관련된 내용을 하면ray5273.tistory...
이전 Few-Shot Learning과 Zero-shot Learning에 이어서 세번째로 글을 작성 해 봅니다.이전 글은 아래 링크를 통해서 확인할 수 있습니다. Few-Shot Learning 이해하기회사에서 AI 관련 교육이 있어서 내용을 정리 해 두려고 합니다.서울대학교 AI 교수님께서 Multi Modal과 관련된 내용을 하면서 나온 내용의 일부입니다.가장 처음으로 학습한 내용이 바로 Few-Shot Learay5273.tistory.com Zero-shot learning, Metric Learning Approach 이해하기https://ray5273.tistory.com/entry/Few-Shot-Learning-이해하기 Few-Shot Learning 이해하기회사에서 AI 관련 교육이 ..
https://ray5273.tistory.com/entry/Few-Shot-Learning-이해하기 Few-Shot Learning 이해하기회사에서 AI 관련 교육이 있어서 내용을 정리 해 두려고 합니다.서울대학교 AI 교수님께서 Multi Modal과 관련된 내용을 하면서 나온 내용의 일부입니다.가장 처음으로 학습한 내용이 바로 Few-Shot Learay5273.tistory.comFew-Shot Learning에 이어서 포스트를 진행합니다.이번에는 Zero-shot learning입니다. Zero-Shot LearningFew-Shot Learning은 데이터를 많이 주지 않고 몇 개만 주고 데이터를 학습시키겠다는 방법이었습니다.그런 이름에서 유추할 수 있듯, Zero-Shot Learning은 ..