이제 데이터 공부 안하는 블로그

어제 웹툰을 페이지에 있는 내용들을 스크래핑 했었는데요, 이부분을 계속해서 학습하겠습니다. 웹툰 페이지에 보면 웹툰 순위가 있습니다. 이부분을 스크래핑 해보겠습니다. rank1 이라는 변수를 선언해서 가져오겠습니다. 크롬에서 개발자도구를 통해 살펴보면 1위인 웹툰은 li태그에서 class가 rank01이라는 이름으로 되어있습니다. rank1 = soup.find("li", attrs={"class":"rank01"})이렇게 해주면 1위 웹툰을 가져 오게됩니다. 웹툰을 제목을 보고 싶다면 print(rank1.a.get_text())라고 코딩해주면 제목만 나오게 됩니다. 이어서 2위인 웹툰을 알고 싶다면 next_sibling이라는 명령으로 가져올수 있습니다. rank2 = rank1.next_siblin..

18일차 강의만으로는 진도를 따라가기가 벅차서 수업 내용의 이해를 돕기 위해 구글링도 해보고, 유튜브 무료 강의도 참고하는 등 여러 자료를 이용하고 있습니다. 따라가기가 어려워도 미션을 완수하려면 매일 조금씩 진도를 나가야하는데 그래서 덕분에 찾아가며 공부를 하게 됩니다. 다행이도 인터넷에 파이썬 수업 자료가 참 많고 많은 프로그래머들이 개인 블로그에 자세하게 공부한 것들을 공유해줘서 잘 활용하고 있습니다. 특히 '나도코딩' 유튜브 강의 너무 고퀄입니다. 감사합니다. 오늘 수업의 대부분은 나도코딩의 강의를 정리했습니다. (https://youtu.be/yQ20jZwDjTE) 본격적으로 BeautifulSoup을 이용하여 스크래핑을 연습했습니다. 우선 아래와 같은 명령어를 입력하여 BeatutifulSou..

17일차 xpath 오늘 자세하게 xpath가 무엇인지 좀더 알아 보겠습니다. xpath는 html에서 좀더 쉽게 원하는 태그를 찾아갈수 있게 해주는 경로입니다. 쉽게 예를 들어 보겠습니다. 학교를 가정해보겠습니다. 유재석 박명수 노홍철 정준하 박명수 이렇게 있다고 하면 유재석 학생을 부르기 위해서는 코딩학교 > 1학년 > 1반 > 1번 이라고 불러 줘야 합니다. 만약 학교에 유재석 학생이 한명이라면 그냥 유재석 학생이라고만 불러도 되겠죠. 하지만 2번 박명수 학생의 경우 같은 이름의 학생이 또있습니다. 이경우에는 처음부터 끝까지모든 번호를 불러 주어야 합니다. 만약에 학생에게 학번이 있다고 가정해 보겠습니다. 유재석 박명수 이렇게 되면 학번 1-1-2 박명수 라고 쉽게 부를수 있게 됩니다. 이렇게 학번..

16차 오늘은 스크래핑에서 get 방식 데이터 통신에 대해 학습합니다. 데이타 통신에는 get과 post 방식이 있습니다. 뭐가 다른지 자세한 설명이 없어 구글링으로 찾아보았습니다. 두 방식 모두 서버에 요청을 하는 메소드라는 공통점이 있다. 클라이언트가 서버에 요청해서 서버가 제공해야하는 자원이 있다고 생각해보자. 예를 들어, 어떤 홈페이지의 로그인 페이지에서 로그인을 하는 경우, 아이디와 패스워드는 클라이언트가 작성하고 그 정보를 서버에 요청해서 클라이언트가 작성한 아이디와 패스워드가 올바른 건지 확인해야한다. 이렇게 요청(request)를 보낼때는 자원을 보내야하는 경우가 있다. GET 메소드 클라이언트의 데이터를 URL에 붙여서 보낸다. POST 메소드 POST 방식은 GET방식가 달리 데이터 전..

15일차 오늘도 계속해서 스크래핑 과정입니다. 코드를 작성하고 그 코드를 점점더 완성도 있게 만들어 가고 있습니다. 뭔가 처음 시작할때 코드에 대한 큰 그림을 그려주고 강의를 시작했더라면 좋았을거 같다는 생각이 듭니다. 아쉽네요. 강사님 머리속에 들어있는 코드 그림을 전혀 모르는 상태에서 따라갈려니 쉽지 않습니다. 강사님이 기본 개념을 설명하는 부분에 좀더 시간과 노력을 할애 했으면 어떨까 하는 아쉬움도 있고요. 아무튼 오늘 강의 내용을 알아보도록하겠습니다. 어제는 css selector를 사용해서 네이버에있는 신문사의 링크를 가져오는 코드를 작성했었습니다. 이번에는 css selector 대신 xpth를 사용해서 링크를 가져오고 보기 좋게 출력까지 하는 코드를 작성합니다. xpth가 뭔지는 구글링으로 ..

14일차 오늘 학습할 주제는 계속해서 스크랩핑입니다. 스크랩핑에 도움을 주는 함수들을 배워왔는데요 오늘은 그중에서 lxml입니다. lxml을 설치 하기 위해서는 앞에서 배웠던 내용을 또 반복합니다. 맥을 기준으로 터미널을 열어서 내가 원하는 폴더에서 파이썬 가상환경을 활성화해줍니다. 그 상태에서 pip 명령어로 pip install lxml 이라고 써주면 설치 프로세스가 시작됩니다. 바가 나오고 0에서 100%까지 진행됩니다. 강사님은 이부분에서 이런저런 질문이 많았다고 하셨는데요 저도 마찬가지고 pip명령을 사용하려고 하면 warning주더라구요. 업그레이드 하라는 내용이었습니다. warning부분을 잘 읽어보면 어떻게 하라고 친절하게 설명이 나옵니다. 그래서 그래도 pip install —upgrad..

13일차 오늘은 어제에 이어 스크래핑에 대해 좀더 알아 보았습니다. 지난 시간에 urlretrieve함수를 사용해보았는데 오늘은 비슷하지만 다른 urlopen을 이용해서 코드를 작성해 보았습니다. 그리고 에러 처리 까지 함께 코딩했습니다. 코드를 한번 보겠습니다. 에러처리를 위해 라이브러리에서 url에러와 http에러를 잡아주는 메쏘드를 호출해 줍니다. ex)from urllib.error import URLError, HTTPError 어제와 조금 다른점은 list 형식으로 데이타를 받아온것입니다. 어제는 각각의 변수를 선언해서 이미지 파일하나와 인덱스를 받아왔었는데 오늘은 리스트에 한번에 넣어주었습니다. 이 리스트에 내가 원하는 파일의 경로를 넣어주고 나중에 값을 넣어 주면 됩니다. ex)path_l..

12일차 주말이라 놀고는 싶은데 또 파이썬 공부는 해야하고 그래서 카페 나와서 수업을 들었습니다. 파이썬 크롤링 심화 강의를 본격적으로 시작합니다. 오늘은 이전에 기초 과정에서 했던 폴더 만들기민 기본 세팅부터해서 스크랩핑 기초 부분 정도까지 학습했습니다. 제가 맥을 사용중이라 맥을 기준으로 이야기해보겠습니다. 폴더 만들기를 먼저 하는데 보통 우클릭해서 폴더 만들기 클릭, 이런 방식이 아니라 터미널에서 수행합니다. 가상환경을 만들어야 하기 때문입니다. 먼저 터미널을 실행한 다음, cd 명령어를 사용해서 내가 새로운 파이썬 폴더를 만들고 싶은 위치로 이동합니다. 최상위에 C드라이브 에 폴더를 만드는게 편리할거 같아 그렇게 해보겠습니다. 그냥 cd..만 쳐주면 최상위 c://로 이동됩니다. 여기서 pytho..