이번 AWS Summit Seoul 2024는 주로 AI/ML 그리고 LLM에 대한 내용이 메인을 이루고 있었습니다.그 중에서 Storage와 관련된 세션이 저의 주 관심사였습니다."AWS스토리지로 AI/ML 워크로드 가속화" 라는 세션에 참가했고 AI/ML의 인프라 관점에서의 인사이트를 얻을 수 있었어서 공유드립니다. ML 관점에서 스토리지의 중요 표인트최근에 AI에 대한 관심이 많아지면서 용어를 혼용해서 쓰는 경우가 많았어서 먼저 각 용어에 대해서 먼저 정의를 했다고합니다. 그 중 ML을 어떻게 구축하는지를 아래의 장표에서 정리를해주었습니다.핵심은 1. Build : ML 모델을 개발한다.2. Train & Tune : 개발한 모델을 학습시키고 튜닝한다.라는 과정을 거친다는것입니다. Amazon Sa..

Golang Init의 기본 순서Init 함수는 기본적으로 Application의 상태를 정의하기 위해서 사용합니다.어떠한 Argument를 받거나 return 값을 제공하지도 않습니다.패키지가 처음 불려지면 그때 모든 상수나 변수가 계산되고 그 이후에 Init() 함수가 실행됩니다. 간략하게는 아래 순서로 실행됩니다.import --> const --> var --> init() 조금 더 자세히 설명하자면 아래와 같습니다.만약 패키지가 다른 패키지를 import하면, import한 패키지의 init() 및 initialize 과정이 먼저 실행됩니다.현재 패키지의 constant가 initialize 됩니다.현재 패키지의 variable이 initialize 됩니다.최종적으로 현재 피키지의 init() ..

제가 현재 회사에서 개발중인 제품에서 사용하는 Language는 Golang입니다.기존에는 제품에 DB를 도입할 필요가 없었다가 최근에 DB 도입을 하게 되었습니다.DB를 개발자들이 잘 다루기 위한 방법이 필요했는데요. 그 중 찾아낸게 바로 GORM 이었습니다. GORM을 쓰는 근거와 그것을 정리하는 Architecture Decision Record를 작성을 해보려고합니다. GORM 사용시의 장점1. 개발 효율성 관점 1) 테이블 Creation SQL관리가 필요없습니다. Go의 구조체를 테이블로 관리하면 됩니다. 우리 프로젝트에서는 각 서버에 DB를 직접 생성해서 작업을 하기때문에 아래와 같은 Table Creation SQL 코드도 관리해야하고 이를 Golang의 Type들과 datatype syn..

크롤링 로직1. 크롤링할 페이지를 사용자로부터 미리 받아둡니다.데이터는 카테고리, url, 페이지 수 를 입력 받을 수 있습니다.csv 파일의 형태로 저장되어있습니다.이런 형태로 말이죠사용자가 크롤링 원하는 페이지를 쉽게 추가하기 위해서는 db에 위 내용을 저장하는것 보다는 csv의 형태로 존재하는것이 좋다고 생각했습니다. 2. 크롤링 대상 페이지에서 제조사 : 삼성전자로 선택카테고리 페이지에서 삼성전자 선택이 어떤식으로 가능한지 확인이 필요했습니다.확인 해 보니 일부 카테고리를 제외하면 대부분 메이저 제조회사라서 업체명 및 체크박스가 고정입니다.그래서 페이지 진입하면 항상 해당 체크박스를 체크하도록 처리해두었습니다.3. 페이지 수 만큼 데이터를 크롤링 해서 저장합니다. 아래 처리들이 필요합니다.1. 1..

현재의 크롬 버전이 너무 최신이라서 크롬의 구 버전을 설치하고 해당 버전에 맞는 크롬 드라이버를 설치하려고 합니다. 크롬 구 버전 설치 Older versions of Google Chrome (Windows) | Uptodown Older versions of Google Chrome (Windows) | Uptodown exe 124.0.6367.61 Apr 17, 2024 zip 123.0.6312.123 Apr 12, 2024 exe 123.0.6312.106 Apr 3, 2024 zip 123.0.6312.86 Mar 27, 2024 exe 123.0.6312.59 Mar 20, 2024 zip 122.0.6261.129 Mar 15, 2024 zip 122.0.6261.112 Mar 8, 20..

스프링 연습도 해볼 겸 다나와의 제품 및 가격을 크롤링 하는 프로그램을 만들어 보려고합니다. 크롤러를 만들기 전에 몇 가지 법적인 문제나 고려해야할 점들을 정리해 둔 사이트가 있어 링크 및 정리를 해둡니다. 합법적으로 ‘웹 크롤링’하는 방법 (上) | 요즘IT 빅데이터 분석이 점차 강조됨에 따라 많은 기업과 학생들이 데이터 확보에 열을 올리고 있습니다. 하지만 기업 입장에서는 비즈니스를 진행하며 자연스럽게 데이터가 쌓이는 경우가 많지만, yozm.wishket.com 합법적으로 ‘웹 크롤링’하는 방법 (下) | 요즘IT 앞선 합법적으로 ‘웹 크롤링’하는 방법 상편에서는 웹 크롤링이 무엇인지, 어떤 경우에 웹 크롤링 행위가 문제가 되는지에 대해 파악해 보았습니다. 하지만 웹 사이트마다 성격이 다르고, yo..

인프콘 세션 마지막 후기입니다. 아래의 링크에서 영상도 확인하실 수 있습니다. 시니어 개발자 너머의 성장: 대규모 조직을 위한 스태프 엔지니어(Staff Engineer) - 남상수님 우리는 어떻게 성장할까요? 그것에 대한 정리가 먼저 있었습니다. 일반적으로 사람들은 어떤 방식으로 성장하는지에 대한 자료가 있었습니다. 70%의 업무경험, 20%의 관계, 10%의 교육으로 주로 성장한다고 합니다. 업무 경험을 통해서 가장 많이 성장함을 알 수 있습니다. 그렇다면 개발자는 어떻게 성장할 수 있을까요? 1. 처음에는 혼자힘으로 기능을 개발하거나 프로젝트를 완료하고 2. 비슷한 기능/ 프로젝트를 여러번 하면서 더 견고해집니다. 다만, 그 이후에는 성장 곡선이 조금 더뎌진다고 느낄 수 있습니다. 개인으로써의 성장..

인프콘 후기 정리 이전 포스트에 이어서 두 번째 포스트입니다. 늦었지만 써보는 2023 인프콘 후기 정리 - 1. API First Design 2023 인프콘 참여 #인프콘2023 인프콘 2023 참여 올해도 작년에 이어서 인프콘이 진행된다고 한다. 작년까지는 회사에 입사한... blog.naver.com 운이 좋게도 작년 블로그 이벤트에서 당첨된 인프콘 티켓 ray5273.tistory.com 빠르게 핵심 내용으로 가보도록 하겠습니다. 참고 : 아래 링크에서 동영상도 볼 수 있습니다. 절반의 성공, 조직 구조와 마이크로 서비스 아키텍처 도입 - 서주은님 처음에는 사내에 아래와 같이 각 역할에 따라 팀을 나누었었는데 처음에는 모든 회사들에서 그렇듯 펑션 조직을 생각했다고 합니다. 조직 구조의 변화 조직..

2023 인프콘 참여 #인프콘2023 인프콘 2023 참여 올해도 작년에 이어서 인프콘이 진행된다고 한다. 작년까지는 회사에 입사한... blog.naver.com 운이 좋게도 작년 블로그 이벤트에서 당첨된 인프콘 티켓을 통해서 2023 인프콘 참여를 했었습니다. 들은 세션에 대해서 내용정리를 한게 있었는데 이제야 꺼내서 정리해봅니다. 본 포스트는 1개의 세션내용을 포함하고 있습니다. 오늘도 여러분들의 API는 안녕하신가요? : API First Design과 Code Gen 활용하기 API 사용에 있어서 아래와 같은 문제들을 개발자들은 다루고 있습니다. 1. 어떻게 API를 설계해야할지, 어떤 형식으로 만들어야 할지? 2. API 코드 수정 이후에 변경된 API 명세를 API 문서에 정확히 반영을 하고..

이전 시간의 포스트에 이어서 S3를 다루는 두번째 시간입니다.이전 포스트는 Object Storage Architecture에 대해서 먼저 확인하는 시간을 가졌었습니다.<figure id="og_1711192931092" contenteditable="false" data-ke-type="opengraph" data-ke-align="alignCente..