Go 애플리케이션 성능 최적화 가이드 | GeekNewsGo 애플리케이션 성능 최적화 가이드고성능 Go 애플리케이션 개발을 위한 기술 자료 모음고성능 API, 마이크로서비스, 분산 시스템을 개발하는 엔지니어를 대상으로 실용적인 패턴과 사례, 저수news.hada.io Go Optimization GuidePatterns and Techniques for Writing High-Performance Applications with Go The Go App Optimization Guide is a collection of technical articles aimed at helping developers write faster, more efficient Go applications. Whether yo..
Transformer 바닥부터 이해하기 - 1. Attention 이해하기Attention의 내부를 뜯어보고 이해하기 위한 포스트를 작성합니다. Attention을 이해하기 위한 기반 지식Encoder-decoder ArchitectureAttention을 이해하기 위해서는 Encoder-decoder 아키텍처에 대해서 이해를 해ray5273.tistory.com Transformer 바닥부터 이해하기 - 2. Transformer 구조Transformer 바닥부터 이해하기 - 1. Attention 이해하기Attention의 내부를 뜯어보고 이해하기 위한 포스트를 작성합니다. Attention을 이해하기 위한 기반 지식Encoder-decoder ArchitectureAttention을 이해하기 위ra..
Transformer 바닥부터 이해하기 - 1. Attention 이해하기Attention의 내부를 뜯어보고 이해하기 위한 포스트를 작성합니다. Attention을 이해하기 위한 기반 지식Encoder-decoder ArchitectureAttention을 이해하기 위해서는 Encoder-decoder 아키텍처에 대해서 이해를 해ray5273.tistory.com이전 글인 Attention 이해하기에 이어서 이제는 제대로 Transformer를 이해해봅시다.혹시나 이전글을 읽지 않으셨다면 읽고 이 글을 읽으시면 이해가 훨씬 잘 될것입니다. Introduction이전 포스트에서 언급했듯 Transformer는 seq-to-seq model입니다.임의의 길이의 input sequence를 임의의 길이의 ou..
Attention의 내부를 뜯어보고 이해하기 위한 포스트를 작성합니다. Attention을 이해하기 위한 기반 지식Encoder-decoder ArchitectureAttention을 이해하기 위해서는 Encoder-decoder 아키텍처에 대해서 이해를 해야합니다.아래는 이미지를 Input, Output으로 하는 Encoder-Decoder 아키텍처의 예시입니다.간략히 요약하자면 아래와 같은 구조로 요약할 수 있습니다.Encoder Decoder 아키텍처는 Deep Learning 의 다양한 분야에서 활용되는 아키텍처입니다.아래와 같은 모델들의 기반 모델로 사용됩ㄴ디ㅏ.Auto Encoder입력 데이터 x를 받아서 압축하고 다시 원래의 데이터 y로 재구성 하는 모델입니다.U-net이미지 분할(Segme..
1. Video, Audio, Text의 Embedding model은 어떤 종류가 있고 어떻게 다르게 생겼는지?Video embedding의 예시Multimodal Embeddings API | Generative AI on Vertex AI | Google Cloud Multimodal Embeddings API | Generative AI on Vertex AI | Google Cloud의견 보내기 Multimodal Embeddings API 컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요. Multimodal Embeddings API는 제공된 입력에 따라 벡터를 생성하며, 여기에는 이미cloud.google.com구글에서 제공하는 Video Embed..
지난번 포스트에서 발견한 이슈들언어 변경 요청에 대한 한글 답변이 잘 안된다.내가 원하는 프롬프트 적용이 잘 안된다 (logger를 추가할만한 위치 추천을 안함)input/output 사이즈가 길때의 조정이 필요하다. Local LLM 이용한 Github 코드 리뷰 Actions 구현 및 배포하기 with Github Copilot - 1코드 개발 및 작성은 아래 링크에서 진행합니다. GitHub - ray5273/ollama-pr-review-actionContribute to ray5273/ollama-pr-review-action development by creating an account on GitHub.github.com 개발 전 코드리뷰 봇 오픈소스 검ray5273.tistory.com이..
코드 개발 및 작성은 아래 링크에서 진행합니다. GitHub - ray5273/ollama-pr-review-actionContribute to ray5273/ollama-pr-review-action development by creating an account on GitHub.github.com 개발 전 코드리뷰 봇 오픈소스 검토하기Github에 올라와 있는 오픈소스가 있다면 활용하면 좋을것 같았습니다.사내 코드에 대한 리뷰라서 외부 API는 사용하면 안되는 이유로 온프레미스 환경을 기반으로 동작해야했습니다.따라서 이를 먼저 확인 해 봤는데, On-premise 서버를 기반으로 한 code-review github action은 보이지 않았습니다.(추가) 추가로 github actions에서 oll..
Few-Shot Learning 이해하기회사에서 AI 관련 교육이 있어서 내용을 정리 해 두려고 합니다.서울대학교 AI 교수님께서 Multi Modal과 관련된 내용을 하면서 나온 내용의 일부입니다.가장 처음으로 학습한 내용이 바로 Few-Shot Learay5273.tistory.com Zero-shot learning, Metric Learning Approach 이해하기https://ray5273.tistory.com/entry/Few-Shot-Learning-이해하기 Few-Shot Learning 이해하기회사에서 AI 관련 교육이 있어서 내용을 정리 해 두려고 합니다.서울대학교 AI 교수님께서 Multi Modal과 관련된 내용을 하면ray5273.tistory.com Meta Learning ..
현재 사내에서 Build a Large Language 책에 대한 스터디를 진행중인데 지난주에 NLP 관련된 질문이 있어서 이를 정리하려고합니다.또한, NLP 대한 내용 중 Transformer 모델 이전의 내용을 다루고 있습니다. 1. Natural Language Processing (NLP) 란 무엇인가?NLP는 아래와 같은 두 가지 능력을 포함하는 개념이라고 합니다.1. Natural Language Understanding2. Natural Language Generation또한 NLP의 주요 목적은 컴퓨터를 이용해 human language를 다루는 것입니다.NLP를 통해 아래와 같은 동작을 할 수 있습니다.1. human - machine 사이의 communication - 질의 응답, 단락..
매주 Preply를 통해서 영어 회화를 하고있는데 영어 수업때 나온 표현이나 단어들을 추가로 복습하고 제가 말했던 잘못된 문장을 교정하고 싶어서 이를 교정하기 위한 프롬프트를 만들어 보고 저장해두려고합니다. 프레플리 (Preply) 화상 영어 회화 진행 후기 및 친구 초대 코드화상 영어를 하게 된 이유 업무적으로 영어 회화를 잘 하면 커리어적으로나 추가로 얻을 수 있는 부분이 많을거라고 생각이 들어서 최근 영어 회화의 필요성이 느껴졌습니다.여러가지 공부 방ray5273.tistory.com 영어 회화 수업 복습 과정아래와 같은 과정을 거쳐서 영어 수업에 대한 복습을 추가로 진행하고있습니다.1. 현재 OBS Studio를 통해서 저와 튜터의 대화를 녹음합니다.2. 녹음 파일을 아래의 다글로 라는 사이트를 ..