Day2 크롤링이란?/ 동적/ 정적 크롤링

크롤링이란? 

인터넷 상의 데이터를 수집, 저장, 가공하는 자동화된 기술 

-소프트 웨어가 웹을 돌아 다니며, 유용한 정보를 찾아 특정 데이터 베이스로 수집해 오는 작업

많은 컴퓨터에 분산 저장 되어 있는 문서를 수집하여 검색 대상의 색인으로 포함 시키는 기술.

어느 부류의 기술을 얼마나 빨리 검색 대상에 포함시키냐하는 것이 우위를 결정하는 요소로서

최근 웹검색의 중요성에 따라 발전되고 있음.

 

사용되는 분야

-데이터 수집(고객만족도, 설문조사, 특정 분야 데이터)

-자동화 프로그램

 

크롤링은 어떤 데이터를 크롤링 하느냐에 따라

정적 크롤링과 동적 크롤링으로 나눠짐

 

정적 크롤링

웹에 있는 정적인 데이터를 수집하는 크롤링 방법

주소 한 페이지 안에 원하는 정보가 모두 드러는 경우

장점: 속도가 빠르다

단점: 수집 대상에 한계가 있다 (입력, 페이지 이동, 로그인후 정보 가져올수 없음)

 

동적 크롤링

웹이 있는 동적인 데이터를 수집하는 크롤링 방법

입력, 클릭, 로그인 같이 페이지 이동이 있어야 하는 혹은 페이지 안에 원하는 정보가 숨겨져 있는 데이터

장점: 수집 대상에 한계가 거의 없다.

단점: 수집 속도가 느리다

 

 

Day2 과제 업로드까지 완료! 빠샤!