이제 데이터 공부 안하는 블로그

17일차 xpath 오늘 자세하게 xpath가 무엇인지 좀더 알아 보겠습니다. xpath는 html에서 좀더 쉽게 원하는 태그를 찾아갈수 있게 해주는 경로입니다. 쉽게 예를 들어 보겠습니다. 학교를 가정해보겠습니다. 유재석 박명수 노홍철 정준하 박명수 이렇게 있다고 하면 유재석 학생을 부르기 위해서는 코딩학교 > 1학년 > 1반 > 1번 이라고 불러 줘야 합니다. 만약 학교에 유재석 학생이 한명이라면 그냥 유재석 학생이라고만 불러도 되겠죠. 하지만 2번 박명수 학생의 경우 같은 이름의 학생이 또있습니다. 이경우에는 처음부터 끝까지모든 번호를 불러 주어야 합니다. 만약에 학생에게 학번이 있다고 가정해 보겠습니다. 유재석 박명수 이렇게 되면 학번 1-1-2 박명수 라고 쉽게 부를수 있게 됩니다. 이렇게 학번..

16차 오늘은 스크래핑에서 get 방식 데이터 통신에 대해 학습합니다. 데이타 통신에는 get과 post 방식이 있습니다. 뭐가 다른지 자세한 설명이 없어 구글링으로 찾아보았습니다. 두 방식 모두 서버에 요청을 하는 메소드라는 공통점이 있다. 클라이언트가 서버에 요청해서 서버가 제공해야하는 자원이 있다고 생각해보자. 예를 들어, 어떤 홈페이지의 로그인 페이지에서 로그인을 하는 경우, 아이디와 패스워드는 클라이언트가 작성하고 그 정보를 서버에 요청해서 클라이언트가 작성한 아이디와 패스워드가 올바른 건지 확인해야한다. 이렇게 요청(request)를 보낼때는 자원을 보내야하는 경우가 있다. GET 메소드 클라이언트의 데이터를 URL에 붙여서 보낸다. POST 메소드 POST 방식은 GET방식가 달리 데이터 전..

15일차 오늘도 계속해서 스크래핑 과정입니다. 코드를 작성하고 그 코드를 점점더 완성도 있게 만들어 가고 있습니다. 뭔가 처음 시작할때 코드에 대한 큰 그림을 그려주고 강의를 시작했더라면 좋았을거 같다는 생각이 듭니다. 아쉽네요. 강사님 머리속에 들어있는 코드 그림을 전혀 모르는 상태에서 따라갈려니 쉽지 않습니다. 강사님이 기본 개념을 설명하는 부분에 좀더 시간과 노력을 할애 했으면 어떨까 하는 아쉬움도 있고요. 아무튼 오늘 강의 내용을 알아보도록하겠습니다. 어제는 css selector를 사용해서 네이버에있는 신문사의 링크를 가져오는 코드를 작성했었습니다. 이번에는 css selector 대신 xpth를 사용해서 링크를 가져오고 보기 좋게 출력까지 하는 코드를 작성합니다. xpth가 뭔지는 구글링으로 ..

14일차 오늘 학습할 주제는 계속해서 스크랩핑입니다. 스크랩핑에 도움을 주는 함수들을 배워왔는데요 오늘은 그중에서 lxml입니다. lxml을 설치 하기 위해서는 앞에서 배웠던 내용을 또 반복합니다. 맥을 기준으로 터미널을 열어서 내가 원하는 폴더에서 파이썬 가상환경을 활성화해줍니다. 그 상태에서 pip 명령어로 pip install lxml 이라고 써주면 설치 프로세스가 시작됩니다. 바가 나오고 0에서 100%까지 진행됩니다. 강사님은 이부분에서 이런저런 질문이 많았다고 하셨는데요 저도 마찬가지고 pip명령을 사용하려고 하면 warning주더라구요. 업그레이드 하라는 내용이었습니다. warning부분을 잘 읽어보면 어떻게 하라고 친절하게 설명이 나옵니다. 그래서 그래도 pip install —upgrad..

13일차 오늘은 어제에 이어 스크래핑에 대해 좀더 알아 보았습니다. 지난 시간에 urlretrieve함수를 사용해보았는데 오늘은 비슷하지만 다른 urlopen을 이용해서 코드를 작성해 보았습니다. 그리고 에러 처리 까지 함께 코딩했습니다. 코드를 한번 보겠습니다. 에러처리를 위해 라이브러리에서 url에러와 http에러를 잡아주는 메쏘드를 호출해 줍니다. ex)from urllib.error import URLError, HTTPError 어제와 조금 다른점은 list 형식으로 데이타를 받아온것입니다. 어제는 각각의 변수를 선언해서 이미지 파일하나와 인덱스를 받아왔었는데 오늘은 리스트에 한번에 넣어주었습니다. 이 리스트에 내가 원하는 파일의 경로를 넣어주고 나중에 값을 넣어 주면 됩니다. ex)path_l..

12일차 주말이라 놀고는 싶은데 또 파이썬 공부는 해야하고 그래서 카페 나와서 수업을 들었습니다. 파이썬 크롤링 심화 강의를 본격적으로 시작합니다. 오늘은 이전에 기초 과정에서 했던 폴더 만들기민 기본 세팅부터해서 스크랩핑 기초 부분 정도까지 학습했습니다. 제가 맥을 사용중이라 맥을 기준으로 이야기해보겠습니다. 폴더 만들기를 먼저 하는데 보통 우클릭해서 폴더 만들기 클릭, 이런 방식이 아니라 터미널에서 수행합니다. 가상환경을 만들어야 하기 때문입니다. 먼저 터미널을 실행한 다음, cd 명령어를 사용해서 내가 새로운 파이썬 폴더를 만들고 싶은 위치로 이동합니다. 최상위에 C드라이브 에 폴더를 만드는게 편리할거 같아 그렇게 해보겠습니다. 그냥 cd..만 쳐주면 최상위 c://로 이동됩니다. 여기서 pytho..

11일차 오늘은 크롤링 기초 수업을 들었습니다. 갑자기 크롤링 기초 수업으로 넘어왔습니다. 왜냐면 웹 개발이 하기 싫어서요...^_^ html과 css 실습 부분 실습은 따라해보면 아주 유용할 것 같긴 한데 나중에 따라해보기로 하고 jango와 flask 수업도 일단 넘어가고 더 재미있어보이는 크롤링 수업을 들어보도록 하겠습니다. 크롤링과 스크래핑 크롤링 혹은 스크래핑은 웹 페이지를 그대로 가져와서 거기서 데이터를 추출해 내는 행위입니다. 크롤링하는 소프트웨어가 있는데 그것은 크롤러(crawler)라고 부릅니다. (출처 : 나무위키) 크롤링과 스크래핑의 차이는 크롤링이 방대한 범위에서 데이터 수집을 한다고 하면 스크래핑은 보다 적고 구체적인 범위를 긁어오는 것을 말합니다. HTML tag란? html t..

10일차 수업입니다. 처음 시작할 때는 매일 매일 어떻게 수업을 듣나,, 아주 앞이 깜깜했는데 이제는 습관처럼 일어나자마자 수업 들을 생각 먼저 하게 됩니다. 허허. 10일째 수업을 들었지만 여전히 이해는 잘 되지 않습니다. 그나마 html과 css는 조금 따라가고 있는데 실습 시작하면 과연 잘 할 수 있으려나요 허허 어제 헤드 요소까지 수업을 듣고 바로 이어서 css 연결 방법 설명을 들었습니다. css연결 link라는 요소로 css를 연결해줍니다. 위에 " "사이에는 파일의 주소를 적어줍니다. 파일의 주소를 적는 방법에는 상대요소(지금 현재 내 위치에서의 파일 위치)와 절대요소가 있습니다. css 리셋과 css 노말라이즈 브라우저마다 유저 에이전트 스타일이 다른데, 그 기본 스타일을 변경하고 싶은 경..