크롤링 [Crawling]

크롤링이란?

• 웹-크롤링 Web-Crawling은 웹 사이트에 있는 데이터를 추출해서 사용하기 위한 목적으로 홈페이지 내용을 수집하고, 추출하는 것을 의미
• 특정한 규칙에 맞춰서 웹 페이지에 방문해서 내용에 포함된 데이터를 가져오는 것을 뜻함
• 읽어볼 만한 링크 : https://www.cloudflare.com/ko-kr/learning/bots/what-is-a-web-crawler/

Java 기반 크롤링 라이브러리

Jsoup

• 정적인 웹 페이지 를 크롤링 할 떄 주로 사용

Java Selenium

• 동적인 웹 페이지 를 크롤링 할 떄 주고 사용

→ Java Selenium 을 선택!

크롬 설치

• Java Selenium을 사용하기 위해서는 2가지가 필요하다

  1. Chrome Driver

  2. Chrome 브라우저

1) 크롬 드라이버 설치