AI/ML시 생성되 데이터셋 크기 및 단일 파일 용량이 증가하고 있음을 먼저 언급했습니다.AI/ML 스토리지 트렌드그리고 그런 트렌드에 따라서 AI/ML 워크로드에 대한 스토리지 사용량중 약 80%를 Object Storage가 수용할것으로 예측했습니다. AI/ML을 위한 스토리지 요구사항4가지 정도를 들었는데 실제 스토리지 서버의 요구사항은 성능과 확장성 하나인것 같고 나머지는 그 위에 올라가는스토리지 소프트웨어가 지원 해야 할 기능으로 보였습니다. AI/ML 워크로드를 위한 스토리지의 주요 고려사항크게 3가지의 요소가 있었는데1. 데이터 준비2. 학습3. 추론 (인퍼런스)였습니다. 그 중 이번 세션에서는 학습과 추론에 대해서 중점적으로 다루었습니다. 학습을 위한 스토리지 이전에 AWS Summit에서..

이번 AWS Summit Seoul 2024는 주로 AI/ML 그리고 LLM에 대한 내용이 메인을 이루고 있었습니다.그 중에서 Storage와 관련된 세션이 저의 주 관심사였습니다."AWS스토리지로 AI/ML 워크로드 가속화" 라는 세션에 참가했고 AI/ML의 인프라 관점에서의 인사이트를 얻을 수 있었어서 공유드립니다. ML 관점에서 스토리지의 중요 표인트최근에 AI에 대한 관심이 많아지면서 용어를 혼용해서 쓰는 경우가 많았어서 먼저 각 용어에 대해서 먼저 정의를 했다고합니다. 그 중 ML을 어떻게 구축하는지를 아래의 장표에서 정리를해주었습니다.핵심은 1. Build : ML 모델을 개발한다.2. Train & Tune : 개발한 모델을 학습시키고 튜닝한다.라는 과정을 거친다는것입니다. Amazon Sa..