AI/ML시 생성되 데이터셋 크기 및 단일 파일 용량이 증가하고 있음을 먼저 언급했습니다.AI/ML 스토리지 트렌드그리고 그런 트렌드에 따라서 AI/ML 워크로드에 대한 스토리지 사용량중 약 80%를 Object Storage가 수용할것으로 예측했습니다. AI/ML을 위한 스토리지 요구사항4가지 정도를 들었는데 실제 스토리지 서버의 요구사항은 성능과 확장성 하나인것 같고 나머지는 그 위에 올라가는스토리지 소프트웨어가 지원 해야 할 기능으로 보였습니다. AI/ML 워크로드를 위한 스토리지의 주요 고려사항크게 3가지의 요소가 있었는데1. 데이터 준비2. 학습3. 추론 (인퍼런스)였습니다. 그 중 이번 세션에서는 학습과 추론에 대해서 중점적으로 다루었습니다. 학습을 위한 스토리지 이전에 AWS Summit에서..
이전 포스트에서 부서 내에 ADR을 도입하려는 계획과 설득을 위한 문서를 작성했었습니다. 우리 부서에 맞는 ADR (Architecture Decision Record) 템플릿 작성과 ADR 시스템 도입현재 우리 부서 상황에 맞는 ADR 템플릿을 작성해 보려고 합니다.사실은 ADR이 무엇인지, ADR을 써야하는 이유는 무엇인지에 대해서 먼저 쓰고 싶었는데일단 부서내에서 ADR 사용에 대한 의견 제시ray5273.tistory.com이 문서를 기반으로 ADR에 대한 필요성을 강조하며 팀원분들과 논의를 했었는데요.결과적으로는 ADR을 도입해서 작성해보기로 결정되었습니다.다만, 몇가지 우려사항이 있었고 어느정도 납득 가능할 만한 얘기들이라서 그 부분들은 수용해서 조금은 수정된 방향으로 결정되었습니다. 해당 회..
VM을 가장 간단한 방법으로 생성해서 실행하면 QEMU는 기본적으로 NUMA를 할당 하지 않습니다.기존에 생성된 PCIe 정보들 확인 더보기처음 xml 파일 ubuntu22.04-2 0cdefc01-40ed-42a1-84d1-e2c7aa398110 4194304 4194304 4 hvm /usr/share/OVMF/OVMF_CODE_4M.ms.fd /var/lib/libvirt/qemu/nvram/ubuntu22.04-2_VARS.fd EPYC-Rome destroy restart ..
문제상황virt-manager를 통해서 QEMU VM을 실행하려는 상황에서 아래 메세지가 뜨면서 오류가 발생합니다.TPM version '2.0' is not supportedQEMU 혹은 libvirtd 상에서 TPM 모듈이 제대로 깔리지 않았거나, 실제로 지원하지 않는 버전이거나의 문제일것같습니다. 해결 방법다만, 저의 경우에는 TPM 모듈이 필요한 개발환경이나 그런게 없기때문에 쉽게 해결하려면 TPM 모듈을 없애는 방향으로 잡았습니다.virt-manager 설치 화면에서 TPM vNone 이라는 하드웨어가 추가되어있음을 확인했습니다.오른쪽 아래의 제거 버튼을 눌러서 없애고 설치를 실행하면 TPM 문제는 없어졌음을 확인할 수 있을것입니다. 혹시나 TPM이 필요하거나 해당 모듈이 필요한 경우에는 조금..
문제 상황QEMU 디바이스에 bridge 인터페이스를 추가하려고 하는데 아래와 같은 에러코드가 발생하는 문제입니다.2024/06/02 11:45:08 packer-plugin-qemu_v1.1.0_x5.0_linux_amd64 plugin: 2024/06/02 11:45:08 Qemu stderr: failed to create tun device: Operation not permitted2024/06/02 11:45:08 packer-plugin-qemu_v1.1.0_x5.0_linux_amd64 plugin: 2024/06/02 11:45:08 Qemu stderr: qemu-system-x86_64: -netdev bridge,id=net0,br=virbr0: bridge helper failed..
문제 상황QEMU 이미지를 빌드를 완료하고 virt-manager에서 해당 VM 이미지 파일을 실행하려고하는데 booting from hard disk ... 에서 stuck 되는 상황입니다.부팅이 정상 진행이 안되어 다음 과정으로 넘어가지지 않습니다. 해결 방법BIOS 펌웨어가 너무 예전 버전이라서 생기는 문제입니다.따라서, virt-manager에서 이미지를 통해서 QEMU VM을 생성할때 아래와 같이 펌웨어 정보를 교체 해 주어야 합니다. 설치 과정부터 따라가보죠1단계에서 기존 디스크 이미지 불러오기를 선택합니다.아래와 같이 미리 빌드해 둔 OS 이미지 파일을 사용해서 바로 VM을 불러옵니다. 그리고 적당한 CPU, DRAM 설정을 2~3단계에서 진행하고 넘어갑니다.가장 중요한 것은 아래 4단계에..
원인 이 오류의 원인은 libvirt의 nodedev 데몬이 설치되지 않았기 때문입니다. 해결방법따라서, libvirt의 nodedev 데몬을 설치해야합니다.그러나 ubuntu의 경우에는 nodedev관련된 .deb 파일이 없습니다.그래서 .rpm 파일을 통해서 ubuntu에 설치하는 방법을 사용해야합니다. 그래서 현재 설치되어있는 libvirt 버전의 버전과 맞는 libvirt-nodedev daemon을 설치해야합니다.아래 링크에서 libvirt 버전에 맞는 .rpm 파일을 다운로드 받을 수 있습니다.https://pkgs.org/search/?q=nodedev 저의 경우에는 libvirt 8.0.0 버전이기에 nodedev 8.0.0 파일을 설치합니다.x86_64 환경에 맞게 x86_64 버전을 ..
여러 게임들에 대한 할인 코드입니다.25% 할인된 가격으로 앱을 사용할 수 있습니다.도움이 되셨으면 좋겠습니다.1. 비트세이버 Sanghyeok님이 Beat Saber 앱을 추천합니다 www.oculus.com 2. 더 룸 VR Sanghyeok님이 The Room VR: A Dark Matter 앱을 추천합니다 www.oculus.com 3. 프리미엄 볼링 Sanghyeok님이 프리미엄 볼링 앱을 추천합니다 www.oculus.com 4. 앵그리버드 Sanghyeok님이 Angry Birds VR: Isle of Pigs 앱을 추천합니다 www.oculus.com 5. ParadiddleVR드럼 게임입니다. Sanghyeok님이 Paradiddle 앱을 추천합니다 www.oculus.com
현재 우리 부서 상황에 맞는 ADR 템플릿을 작성해 보려고 합니다.사실은 ADR이 무엇인지, ADR을 써야하는 이유는 무엇인지에 대해서 먼저 쓰고 싶었는데일단 부서내에서 ADR 사용에 대한 의견 제시를 앞두고 있어서 ADR에 대한 요구 사항을 먼저 정리하고 그 템플릿을 먼저 만들어 보려고 합니다. ADR 자체의 내용에 대한 포스트는 다음 포스트에서 정리 될 예정입니다.우선은 아주아주 간단하게 ADR이 뭔지 왜 필요할지 적어봅니다. ADR (Architecture Decision Records) 이란?아키텍처와 관련된 결정을 내렸을때 그 과정을 기록하는 문서입니다. ADR을 쓰는 이유?회사에서는 팀원들과 의사 결정 및 공유하는 과정이 회의나 미팅을 통해서 진행됩니다.1. 그곳에서 결정된 모든 사항들이 모든..
이전 포스트에 이어서 본 포스트에서는 AWS Seoul Summit 2024의 여러가지 세션들 중 데이터/스토리지와 관련된 세미나를 요약해보려고합니다.제가 들었던 것 들 중에 2가지를 중점적으로 요약했습니다. 1. AWS로 데이터 레이크 구축하기AWS로 데이터 레이크 구축하기 세션이 있었습니다.먼저 데이터 레이크와 데이터 웨어하우스를 정의해보겠습니다. 데이터 레이크 vs 데이터 웨어하우스 데이터 레이크데이터 웨어하우스데이터 형태- 정형, 반정형, 비정형 데이터를 raw data로저장(데이터를 정제하지 않고 있는 그대로 저장)- 데이터를 구조화 된 형태로 저장- 업무 분석 요구에 맞춰 데이터를 정제, 가공하여 저장스키마 요건사전 스키마 설계 관련 요구 조건 없음데이터 저장전에 스키마 설계 필요데이터 신뢰..