AI/ML시 생성되 데이터셋 크기 및 단일 파일 용량이 증가하고 있음을 먼저 언급했습니다.AI/ML 스토리지 트렌드그리고 그런 트렌드에 따라서 AI/ML 워크로드에 대한 스토리지 사용량중 약 80%를 Object Storage가 수용할것으로 예측했습니다. AI/ML을 위한 스토리지 요구사항4가지 정도를 들었는데 실제 스토리지 서버의 요구사항은 성능과 확장성 하나인것 같고 나머지는 그 위에 올라가는스토리지 소프트웨어가 지원 해야 할 기능으로 보였습니다. AI/ML 워크로드를 위한 스토리지의 주요 고려사항크게 3가지의 요소가 있었는데1. 데이터 준비2. 학습3. 추론 (인퍼런스)였습니다. 그 중 이번 세션에서는 학습과 추론에 대해서 중점적으로 다루었습니다. 학습을 위한 스토리지 이전에 AWS Summit에서..
이전 포스트에 이어서 본 포스트에서는 AWS Seoul Summit 2024의 여러가지 세션들 중 데이터/스토리지와 관련된 세미나를 요약해보려고합니다.제가 들었던 것 들 중에 2가지를 중점적으로 요약했습니다. 1. AWS로 데이터 레이크 구축하기AWS로 데이터 레이크 구축하기 세션이 있었습니다.먼저 데이터 레이크와 데이터 웨어하우스를 정의해보겠습니다. 데이터 레이크 vs 데이터 웨어하우스 데이터 레이크데이터 웨어하우스데이터 형태- 정형, 반정형, 비정형 데이터를 raw data로저장(데이터를 정제하지 않고 있는 그대로 저장)- 데이터를 구조화 된 형태로 저장- 업무 분석 요구에 맞춰 데이터를 정제, 가공하여 저장스키마 요건사전 스키마 설계 관련 요구 조건 없음데이터 저장전에 스키마 설계 필요데이터 신뢰..
이번 AWS Summit Seoul 2024는 주로 AI/ML 그리고 LLM에 대한 내용이 메인을 이루고 있었습니다.그 중에서 Storage와 관련된 세션이 저의 주 관심사였습니다."AWS스토리지로 AI/ML 워크로드 가속화" 라는 세션에 참가했고 AI/ML의 인프라 관점에서의 인사이트를 얻을 수 있었어서 공유드립니다. ML 관점에서 스토리지의 중요 표인트최근에 AI에 대한 관심이 많아지면서 용어를 혼용해서 쓰는 경우가 많았어서 먼저 각 용어에 대해서 먼저 정의를 했다고합니다. 그 중 ML을 어떻게 구축하는지를 아래의 장표에서 정리를해주었습니다.핵심은 1. Build : ML 모델을 개발한다.2. Train & Tune : 개발한 모델을 학습시키고 튜닝한다.라는 과정을 거친다는것입니다. Amazon Sa..
인프콘 세션 마지막 후기입니다. 아래의 링크에서 영상도 확인하실 수 있습니다. 시니어 개발자 너머의 성장: 대규모 조직을 위한 스태프 엔지니어(Staff Engineer) - 남상수님 우리는 어떻게 성장할까요? 그것에 대한 정리가 먼저 있었습니다. 일반적으로 사람들은 어떤 방식으로 성장하는지에 대한 자료가 있었습니다. 70%의 업무경험, 20%의 관계, 10%의 교육으로 주로 성장한다고 합니다. 업무 경험을 통해서 가장 많이 성장함을 알 수 있습니다. 그렇다면 개발자는 어떻게 성장할 수 있을까요? 1. 처음에는 혼자힘으로 기능을 개발하거나 프로젝트를 완료하고 2. 비슷한 기능/ 프로젝트를 여러번 하면서 더 견고해집니다. 다만, 그 이후에는 성장 곡선이 조금 더뎌진다고 느낄 수 있습니다. 개인으로써의 성장..
인프콘 후기 정리 이전 포스트에 이어서 두 번째 포스트입니다. 늦었지만 써보는 2023 인프콘 후기 정리 - 1. API First Design 2023 인프콘 참여 #인프콘2023 인프콘 2023 참여 올해도 작년에 이어서 인프콘이 진행된다고 한다. 작년까지는 회사에 입사한... blog.naver.com 운이 좋게도 작년 블로그 이벤트에서 당첨된 인프콘 티켓 ray5273.tistory.com 빠르게 핵심 내용으로 가보도록 하겠습니다. 참고 : 아래 링크에서 동영상도 볼 수 있습니다. 절반의 성공, 조직 구조와 마이크로 서비스 아키텍처 도입 - 서주은님 처음에는 사내에 아래와 같이 각 역할에 따라 팀을 나누었었는데 처음에는 모든 회사들에서 그렇듯 펑션 조직을 생각했다고 합니다. 조직 구조의 변화 조직..
2023 인프콘 참여 #인프콘2023 인프콘 2023 참여 올해도 작년에 이어서 인프콘이 진행된다고 한다. 작년까지는 회사에 입사한... blog.naver.com 운이 좋게도 작년 블로그 이벤트에서 당첨된 인프콘 티켓을 통해서 2023 인프콘 참여를 했었습니다. 들은 세션에 대해서 내용정리를 한게 있었는데 이제야 꺼내서 정리해봅니다. 본 포스트는 1개의 세션내용을 포함하고 있습니다. 오늘도 여러분들의 API는 안녕하신가요? : API First Design과 Code Gen 활용하기 API 사용에 있어서 아래와 같은 문제들을 개발자들은 다루고 있습니다. 1. 어떻게 API를 설계해야할지, 어떤 형식으로 만들어야 할지? 2. API 코드 수정 이후에 변경된 API 명세를 API 문서에 정확히 반영을 하고..
이번에 회사에서 slack을 도입하면서 RSS 채널을 하나 열어서 정보를 지속적으로 센싱하려고 했다. 기존에는 자주 사용하는 RSS피드가 Geeknews였는데 다양한 종류의 피드를 추가하기위해서 아래와 같은 항목들을 추가로 알아보았다. 한국 테크 블로그 1. 라인 테크 블로그 https://techblog.lycorp.co.jp/ko techblog.lycorp.co.jp 2. 무신사 테크 블로그 MUSINSA tech – Medium 무신사 테크부문의 이야기를 공유합니다. medium.com 3. 네이버 D2 NAVER D2 4. 우아한 형제들 테크 블로그 우아한형제들 기술블로그 우아한형제들의 기술, 서비스, 비전, 가치를 들려 드립니다. techblog.woowahan.com 5. 쿠팡 테크 블로그 ..