엘리

모여서 각자 코딩이라는 스터디에 8월에 참여했다 나름 파이썬은 어느정도 기초는 알게 된거 같아서 (모듈부터 잘 모른다 ㅠㅠ) 그래서 크롤링 과정을 참여 했다 다른 과정에 참여하고 싶었지만 상급자 코스인거 같아서 크롤링 과정에 참여 했는데 오늘 로써 과제 다 제출하고, 크롤링 과정을 다 끝냈다 다시한번 이 모각코 크롤링 과정에 대해서 포스팅 하겠지만 오늘은 일요일 너무 피곤해서 대략적으로 이 과정을 복기 해보겠다! 제일 먼저 하고 싶은 말은 반성하자 이다..ㅋㅋ 초반에는 너무 쉬워서 금방금방 과제를 수행했지만 개념을 확실히 복습하지 않아서 나중에 쌓이니까 그냥 코드를 따라치는 정도가 되서 좀 개인적으로 반성을 하게 됬다는..ㅜㅜ 좋았던점 좋은 프로그램을 알게되서 좋았다! (주변 코딩공부하는 분들에게 특히 ..

beautifulsoup 라이브러리는 위의 텍스트 결과를 실제 HTML 코드로 변환해 준다. 1. import하는 코드. beautifulsoup4 라이브러리는 bs4라는 변수명을 가짐 bs4에는 여러 메소드가 포함되어 있는데, 그 중에서 beautifulSoup만 필요하다. from bs4 import beatifulSoup #코드 해석 bs4 라이브러리에서 BeautifulSoup 메소드만 가져와서 사용한다. #기본코드 from 라이브러리 from 메소드: 해당 라이브러리에서 특정 메소드를 가지고 온다. 문자열 HTML코드를 갖는 raw text를 실제 HTML 코드로 변환해주어야 한다. BeautifulSoup(문자열,'html.parser') 코드를 해석하자면, 문자열을 HTML 코드로 해석하라 ..

HTML은 기본적으로 내용로 작성된다 시작과 끝이 하나의 쌍으로 구성되어 있고, 그 사이에 내용이 포함 선택자(selector)는 여러가지 태그, 동일한 태그 여러개 중에서도 각 태그를 구별할 수 있는 일종의 주소 동일한 태그가 너무 많아 컴퓨터가 구별하기 위해 언어라는 데이터만 필요한 경우 class ="language"라는 선택자를 통해 두 개의 언어 관련 데이어트를 찾을 수 있게 된다. 태그의 선택자는 주로 id 와 class를 사용한다. id는 어떤 요소의 고유한 값: 하나의 HTML 코드에 id는 중복되지 않고 하나만 존재 classs는 같은 속성을 지닌 데이터를 묶어주는 값이다(class도 태그의 선택자로 사용되지만, id 처럼 고유한 값은 아님) 따라서 HTML에서는 한 태그가 여러개의 cl..

크롤링이란? 인터넷 상의 데이터를 수집, 저장, 가공하는 자동화된 기술 -소프트 웨어가 웹을 돌아 다니며, 유용한 정보를 찾아 특정 데이터 베이스로 수집해 오는 작업 많은 컴퓨터에 분산 저장 되어 있는 문서를 수집하여 검색 대상의 색인으로 포함 시키는 기술. 어느 부류의 기술을 얼마나 빨리 검색 대상에 포함시키냐하는 것이 우위를 결정하는 요소로서 최근 웹검색의 중요성에 따라 발전되고 있음. 사용되는 분야 -데이터 수집(고객만족도, 설문조사, 특정 분야 데이터) -자동화 프로그램 크롤링은 어떤 데이터를 크롤링 하느냐에 따라 정적 크롤링과 동적 크롤링으로 나눠짐 정적 크롤링 웹에 있는 정적인 데이터를 수집하는 크롤링 방법 주소 한 페이지 안에 원하는 정보가 모두 드러는 경우 장점: 속도가 빠르다 단점: 수집..