크롤링 로직1. 크롤링할 페이지를 사용자로부터 미리 받아둡니다.데이터는 카테고리, url, 페이지 수 를 입력 받을 수 있습니다.csv 파일의 형태로 저장되어있습니다.이런 형태로 말이죠사용자가 크롤링 원하는 페이지를 쉽게 추가하기 위해서는 db에 위 내용을 저장하는것 보다는 csv의 형태로 존재하는것이 좋다고 생각했습니다. 2. 크롤링 대상 페이지에서 제조사 : 삼성전자로 선택카테고리 페이지에서 삼성전자 선택이 어떤식으로 가능한지 확인이 필요했습니다.확인 해 보니 일부 카테고리를 제외하면 대부분 메이저 제조회사라서 업체명 및 체크박스가 고정입니다.그래서 페이지 진입하면 항상 해당 체크박스를 체크하도록 처리해두었습니다.3. 페이지 수 만큼 데이터를 크롤링 해서 저장합니다. 아래 처리들이 필요합니다.1. 1..
현재의 크롬 버전이 너무 최신이라서 크롬의 구 버전을 설치하고 해당 버전에 맞는 크롬 드라이버를 설치하려고 합니다. 크롬 구 버전 설치 Older versions of Google Chrome (Windows) | Uptodown Older versions of Google Chrome (Windows) | Uptodown exe 124.0.6367.61 Apr 17, 2024 zip 123.0.6312.123 Apr 12, 2024 exe 123.0.6312.106 Apr 3, 2024 zip 123.0.6312.86 Mar 27, 2024 exe 123.0.6312.59 Mar 20, 2024 zip 122.0.6261.129 Mar 15, 2024 zip 122.0.6261.112 Mar 8, 20..
스프링 연습도 해볼 겸 다나와의 제품 및 가격을 크롤링 하는 프로그램을 만들어 보려고합니다. 크롤러를 만들기 전에 몇 가지 법적인 문제나 고려해야할 점들을 정리해 둔 사이트가 있어 링크 및 정리를 해둡니다. 합법적으로 ‘웹 크롤링’하는 방법 (上) | 요즘IT 빅데이터 분석이 점차 강조됨에 따라 많은 기업과 학생들이 데이터 확보에 열을 올리고 있습니다. 하지만 기업 입장에서는 비즈니스를 진행하며 자연스럽게 데이터가 쌓이는 경우가 많지만, yozm.wishket.com 합법적으로 ‘웹 크롤링’하는 방법 (下) | 요즘IT 앞선 합법적으로 ‘웹 크롤링’하는 방법 상편에서는 웹 크롤링이 무엇인지, 어떤 경우에 웹 크롤링 행위가 문제가 되는지에 대해 파악해 보았습니다. 하지만 웹 사이트마다 성격이 다르고, yo..
ChatGPT의 GPTs를 활용해서 블로그 썸네일 생성기를 제작 해 보았습니다. 네이버 및 티스토리의 썸네일 크기에 최적화 된 방식으로 구현을 했습니다. 아래 링크를 통해서 블로그 썸네일을 생성해 볼 수 있습니다. ChatGPT - 네이버/티스토리 블로그 썸네일 메이커 블로그의 썸네일을 자동으로 생성해주는 AI 썸네일 메이커 입니다. chat.openai.com 블로그 썸네일 자동 생성하기 2가지의 방식으로 블로그 썸네일을 생성 할 수 있습니다. 1. 제목으로 블로그 썸네일 만들기 2. 내 컴퓨터/스마트폰의 사진으로 썸네일 만들기 1. 제목으로 블로그 썸네일 만들기 제목으로 블로그 썸네일 만들기를 진행 해 보겠습니다. 1) GPTs의 첫 화면에서 제목으로 썸네일 만들기를 클릭 그 다음 단계에서는 위와 같..
이전 포스팅 2024.01.31 - [분류 전체보기] - Mattermost alert bot 설계하기 2024.01.08 - [프로젝트/Github Rest API로 프로젝트 리뷰 대시보드 구성하기] - Grafana Dashboard에 Webhook 서버 (Mattermost 봇) 연결해서 알람 봇 만들기 - 작성중 2024.01.07 - [프로젝트/Github Rest API로 프로젝트 리뷰 대시보드 구성하기] - mattermost deploy 및 봇 사용해보기 필요 배경 지식 Mattermost Typescript로 API 전송하기 Prerequisite Mattermost 로컬 실행 Typescript API 서버 구성 Mattermost bot의 API 요청 기능을 어디에 붙일것인가. 기존의..
이전 포스팅 2024.01.08 - [프로젝트/Github Rest API로 프로젝트 리뷰 대시보드 구성하기] - Grafana Dashboard에 Webhook 서버 (Mattermost 봇) 연결해서 알람 봇 만들기 - 작성중 Mattermost에 대한 alert bot을 만들기 설계 근본적으로 먼저 설계를 진행하기 전에 일단은 혹시 grafana와 mattermost를 연동할 수 있는 기능이 있을까 싶어 검색을 몇가지 해보았다. Mattermost performance alerting guide — Mattermost documentation Mattermost performance alerting guide — Mattermost documentation Mattermost recommends u..
이전 포스팅 2024.01.07 - [프로젝트/Github Rest API로 프로젝트 리뷰 대시보드 구성하기] - mattermost deploy 및 봇 사용해보기 2023.12.25 - [프로젝트/Github Rest API로 프로젝트 리뷰 대시보드 구성하기] - NodeJS Express를 통해서 API 서버 구축 및 DB 업데이트 하기 2023.12.22 - [프로젝트/Github Rest API로 프로젝트 리뷰 대시보드 구성하기] - Grafana 리뷰 대시 보드 구성 - Panel 에 변수 추가하기 필요 배경 지식 Grafana 기본 대시보드 구성 방법 및 사용 방법 Webhook에 대한 이해 Webhook 설정을 위한 Contact Point 설정하기 Grafana에서 보내주는 POST 처리할..
이전 포스팅 2023.12.25 - [프로젝트/Github Rest API로 프로젝트 리뷰 대시보드 구성하기] - NodeJS Express를 통해서 API 서버 구축 및 DB 업데이트 하기 2023.12.22 - [프로젝트/Github Rest API로 프로젝트 리뷰 대시보드 구성하기] - Grafana 리뷰 대시 보드 구성 - Panel 에 변수 추가하기 필요 배경 지식 mattermost란 무엇인지 mattermost bot이란 무엇인지 docker 배경 지식 Prerequisite 그라파나 대시보드의 alert 기능을 mattermost의 봇과 연결시키기 위해서 mattermost 로컬 버전을 로컬에 deploy하고 bot을 생성해보는 과정을 진행해보려고한다. Mattermost를 로컬에서 실행한..
이전 포스팅 2023.12.06 - [프로젝트/Github Rest API로 프로젝트 리뷰 대시보드 구성하기] - Github RestAPI를 통해서 Repository 정보 크롤링 및 알림 서비스 구현 2023.12.09 - [프로젝트/Github Rest API로 프로젝트 리뷰 대시보드 구성하기] - Repository 정보 크롤링 및 알림 서비스 구현 요구사항 정리하기 필요 배경 지식 NodeJS Typescript HTTP Request 기본 이해 Prerequisite NodeJS 설치 Typescript 환경 설정 Express.js 설치 Typescript 환경설정에 아래와 같이 express를 설치해야한다. express.js는 npm install express npm install --..
이전 포스팅 2023.12.06 - [프로젝트/Github Rest API로 프로젝트 리뷰 대시보드 구성하기] - Github RestAPI를 통해서 Repository 정보 크롤링 및 알림 서비스 구현 2023.12.09 - [프로젝트/Github Rest API로 프로젝트 리뷰 대시보드 구성하기] - Repository 정보 크롤링 및 알림 서비스 구현 요구사항 정리하기 2023.12.18 - [프로젝트/Github Rest API로 프로젝트 리뷰 대시보드 구성하기] - Grafana에서 DB 조작하기 필요 배경 지식 Grafana 대시보드 작성 방법 및 적용방법 PostgreSQL 사용법 Grafana에서 대시보드 변수 사용하기 Grafana에서 변수(variable)를 패널(panel)에서 사용하..