이제 데이터 공부 안하는 블로그

한 달 동안 온라인으로 파이썬 강의를 열심히 들었습니다. 주말에도 수업을 듣고 강의노트 & 후기를 작성해야 했기 때문에 하기 싫어도 꾸역꾸역 하다보니 결국 한 달을 채우게 됬어요. 진짜 스스로가 대견해집니다. 뭐든 할 수 있을 것만 같은 뿌듯함입니다. 하하하하하하. 제가 한 달 동안 패스트캠퍼스의 파이썬 웹 개발 올인원 패키지를 수강하면서 느낀 점을 솔직하게 써보도록 하겠습니다. 저는 일단 추천합니다. 사실 강의 내용이나 퀄리티 자체는 딱히 특별하게 좋은지는 모르겠어요. 일단 제가 온라인으로 파이썬 수업을 수강해본 것이 처음이라 비교할 대상이 없고, 제가 들은 수업은 올인원 패키지라서 파이썬 기초 문법부터 심화 문법, 웹 기본 & html과 css를 배울 수 있는 프론트엔드 기초, Framework Dj..

15일차 오늘도 계속해서 스크래핑 과정입니다. 코드를 작성하고 그 코드를 점점더 완성도 있게 만들어 가고 있습니다. 뭔가 처음 시작할때 코드에 대한 큰 그림을 그려주고 강의를 시작했더라면 좋았을거 같다는 생각이 듭니다. 아쉽네요. 강사님 머리속에 들어있는 코드 그림을 전혀 모르는 상태에서 따라갈려니 쉽지 않습니다. 강사님이 기본 개념을 설명하는 부분에 좀더 시간과 노력을 할애 했으면 어떨까 하는 아쉬움도 있고요. 아무튼 오늘 강의 내용을 알아보도록하겠습니다. 어제는 css selector를 사용해서 네이버에있는 신문사의 링크를 가져오는 코드를 작성했었습니다. 이번에는 css selector 대신 xpth를 사용해서 링크를 가져오고 보기 좋게 출력까지 하는 코드를 작성합니다. xpth가 뭔지는 구글링으로 ..

14일차 오늘 학습할 주제는 계속해서 스크랩핑입니다. 스크랩핑에 도움을 주는 함수들을 배워왔는데요 오늘은 그중에서 lxml입니다. lxml을 설치 하기 위해서는 앞에서 배웠던 내용을 또 반복합니다. 맥을 기준으로 터미널을 열어서 내가 원하는 폴더에서 파이썬 가상환경을 활성화해줍니다. 그 상태에서 pip 명령어로 pip install lxml 이라고 써주면 설치 프로세스가 시작됩니다. 바가 나오고 0에서 100%까지 진행됩니다. 강사님은 이부분에서 이런저런 질문이 많았다고 하셨는데요 저도 마찬가지고 pip명령을 사용하려고 하면 warning주더라구요. 업그레이드 하라는 내용이었습니다. warning부분을 잘 읽어보면 어떻게 하라고 친절하게 설명이 나옵니다. 그래서 그래도 pip install —upgrad..

13일차 오늘은 어제에 이어 스크래핑에 대해 좀더 알아 보았습니다. 지난 시간에 urlretrieve함수를 사용해보았는데 오늘은 비슷하지만 다른 urlopen을 이용해서 코드를 작성해 보았습니다. 그리고 에러 처리 까지 함께 코딩했습니다. 코드를 한번 보겠습니다. 에러처리를 위해 라이브러리에서 url에러와 http에러를 잡아주는 메쏘드를 호출해 줍니다. ex)from urllib.error import URLError, HTTPError 어제와 조금 다른점은 list 형식으로 데이타를 받아온것입니다. 어제는 각각의 변수를 선언해서 이미지 파일하나와 인덱스를 받아왔었는데 오늘은 리스트에 한번에 넣어주었습니다. 이 리스트에 내가 원하는 파일의 경로를 넣어주고 나중에 값을 넣어 주면 됩니다. ex)path_l..

12일차 주말이라 놀고는 싶은데 또 파이썬 공부는 해야하고 그래서 카페 나와서 수업을 들었습니다. 파이썬 크롤링 심화 강의를 본격적으로 시작합니다. 오늘은 이전에 기초 과정에서 했던 폴더 만들기민 기본 세팅부터해서 스크랩핑 기초 부분 정도까지 학습했습니다. 제가 맥을 사용중이라 맥을 기준으로 이야기해보겠습니다. 폴더 만들기를 먼저 하는데 보통 우클릭해서 폴더 만들기 클릭, 이런 방식이 아니라 터미널에서 수행합니다. 가상환경을 만들어야 하기 때문입니다. 먼저 터미널을 실행한 다음, cd 명령어를 사용해서 내가 새로운 파이썬 폴더를 만들고 싶은 위치로 이동합니다. 최상위에 C드라이브 에 폴더를 만드는게 편리할거 같아 그렇게 해보겠습니다. 그냥 cd..만 쳐주면 최상위 c://로 이동됩니다. 여기서 pytho..

11일차 오늘은 크롤링 기초 수업을 들었습니다. 갑자기 크롤링 기초 수업으로 넘어왔습니다. 왜냐면 웹 개발이 하기 싫어서요...^_^ html과 css 실습 부분 실습은 따라해보면 아주 유용할 것 같긴 한데 나중에 따라해보기로 하고 jango와 flask 수업도 일단 넘어가고 더 재미있어보이는 크롤링 수업을 들어보도록 하겠습니다. 크롤링과 스크래핑 크롤링 혹은 스크래핑은 웹 페이지를 그대로 가져와서 거기서 데이터를 추출해 내는 행위입니다. 크롤링하는 소프트웨어가 있는데 그것은 크롤러(crawler)라고 부릅니다. (출처 : 나무위키) 크롤링과 스크래핑의 차이는 크롤링이 방대한 범위에서 데이터 수집을 한다고 하면 스크래핑은 보다 적고 구체적인 범위를 긁어오는 것을 말합니다. HTML tag란? html t..

10일차 수업입니다. 처음 시작할 때는 매일 매일 어떻게 수업을 듣나,, 아주 앞이 깜깜했는데 이제는 습관처럼 일어나자마자 수업 들을 생각 먼저 하게 됩니다. 허허. 10일째 수업을 들었지만 여전히 이해는 잘 되지 않습니다. 그나마 html과 css는 조금 따라가고 있는데 실습 시작하면 과연 잘 할 수 있으려나요 허허 어제 헤드 요소까지 수업을 듣고 바로 이어서 css 연결 방법 설명을 들었습니다. css연결 link라는 요소로 css를 연결해줍니다. 위에 " "사이에는 파일의 주소를 적어줍니다. 파일의 주소를 적는 방법에는 상대요소(지금 현재 내 위치에서의 파일 위치)와 절대요소가 있습니다. css 리셋과 css 노말라이즈 브라우저마다 유저 에이전트 스타일이 다른데, 그 기본 스타일을 변경하고 싶은 경..

9일차에는 다양한 셀렉터와 적용 우선순위, 상속과 캐스캐이딩에 대해 배웠습니다. 셀렉터(선택자) : 특정 html 요소를 선택해서 스타일을 적용할 수 있도록 합니다. *클래스 선택자 가장 많이 사용합니다. 여러 가지 셀렉터를 한 번에 지정하는 것도 가능합니다. *태그 선택자 문서 전체의 태그 속성을 바꿀 때 유용하다. 너무 많이 사용하면 유지보수성이 떨어집니다. *id 선택자 앞에 #을 붙여서 사용하고 중복해서 사용은 불가능합니다. id 선택자는 가장 구체적이기 때문에 지정해주면 다른 셀렉터의 값은 적용되지 않습니다. 이것을 ‘선택자 우선 수위’라고 부릅니다. id 선택자 > 클래스 선택자 > 태그 선택자 순으로 우선 순위가 더 높습니다. *가상 선택자 요소의 일정부분만 혹은 특정한 상황일때문 선택 가능..