스프링 연습도 해볼 겸 다나와의 제품 및 가격을 크롤링 하는 프로그램을 만들어 보려고합니다. 크롤러를 만들기 전에 몇 가지 법적인 문제나 고려해야할 점들을 정리해 둔 사이트가 있어 링크 및 정리를 해둡니다. 합법적으로 ‘웹 크롤링’하는 방법 (上) | 요즘IT 빅데이터 분석이 점차 강조됨에 따라 많은 기업과 학생들이 데이터 확보에 열을 올리고 있습니다. 하지만 기업 입장에서는 비즈니스를 진행하며 자연스럽게 데이터가 쌓이는 경우가 많지만, yozm.wishket.com 합법적으로 ‘웹 크롤링’하는 방법 (下) | 요즘IT 앞선 합법적으로 ‘웹 크롤링’하는 방법 상편에서는 웹 크롤링이 무엇인지, 어떤 경우에 웹 크롤링 행위가 문제가 되는지에 대해 파악해 보았습니다. 하지만 웹 사이트마다 성격이 다르고, yo..

이전 포스팅 2023.12.06 - [프로젝트/Github Rest API로 프로젝트 관리하기] - Github RestAPI를 통해서 Repository 정보 크롤링 및 알림 서비스 구현 필요 배경 지식 RestAPI에 대한 개념 Prerequisite Typescript 기본 개발 환경 세팅 사용할 Github REST API 들 내가 사용할 Github Rest API들은 아래와 같다. 1. API rate limit Rate limit - GitHub Docs Status: 200 { "resources": { "core": { "limit": 5000, "used": 1, "remaining": 4999, "reset": 1691591363 }, "search": { "limit": 30, "u..