크롤링 로직1. 크롤링할 페이지를 사용자로부터 미리 받아둡니다.데이터는 카테고리, url, 페이지 수 를 입력 받을 수 있습니다.csv 파일의 형태로 저장되어있습니다.이런 형태로 말이죠사용자가 크롤링 원하는 페이지를 쉽게 추가하기 위해서는 db에 위 내용을 저장하는것 보다는 csv의 형태로 존재하는것이 좋다고 생각했습니다. 2. 크롤링 대상 페이지에서 제조사 : 삼성전자로 선택카테고리 페이지에서 삼성전자 선택이 어떤식으로 가능한지 확인이 필요했습니다.확인 해 보니 일부 카테고리를 제외하면 대부분 메이저 제조회사라서 업체명 및 체크박스가 고정입니다.그래서 페이지 진입하면 항상 해당 체크박스를 체크하도록 처리해두었습니다.3. 페이지 수 만큼 데이터를 크롤링 해서 저장합니다. 아래 처리들이 필요합니다.1. 1..

현재의 크롬 버전이 너무 최신이라서 크롬의 구 버전을 설치하고 해당 버전에 맞는 크롬 드라이버를 설치하려고 합니다. 크롬 구 버전 설치 Older versions of Google Chrome (Windows) | Uptodown Older versions of Google Chrome (Windows) | Uptodown exe 124.0.6367.61 Apr 17, 2024 zip 123.0.6312.123 Apr 12, 2024 exe 123.0.6312.106 Apr 3, 2024 zip 123.0.6312.86 Mar 27, 2024 exe 123.0.6312.59 Mar 20, 2024 zip 122.0.6261.129 Mar 15, 2024 zip 122.0.6261.112 Mar 8, 20..

스프링 연습도 해볼 겸 다나와의 제품 및 가격을 크롤링 하는 프로그램을 만들어 보려고합니다. 크롤러를 만들기 전에 몇 가지 법적인 문제나 고려해야할 점들을 정리해 둔 사이트가 있어 링크 및 정리를 해둡니다. 합법적으로 ‘웹 크롤링’하는 방법 (上) | 요즘IT 빅데이터 분석이 점차 강조됨에 따라 많은 기업과 학생들이 데이터 확보에 열을 올리고 있습니다. 하지만 기업 입장에서는 비즈니스를 진행하며 자연스럽게 데이터가 쌓이는 경우가 많지만, yozm.wishket.com 합법적으로 ‘웹 크롤링’하는 방법 (下) | 요즘IT 앞선 합법적으로 ‘웹 크롤링’하는 방법 상편에서는 웹 크롤링이 무엇인지, 어떤 경우에 웹 크롤링 행위가 문제가 되는지에 대해 파악해 보았습니다. 하지만 웹 사이트마다 성격이 다르고, yo..