이제 데이터 공부 안하는 블로그

28일차 셀레니움을 사용해서 네이버 항공권을 검색하는 연습을 했습니다. 오늘 selenium에서 쓰는 메쏘드들은 webdriver, by, webdriverwait, expected_conditions 라는 것들입니다. 먼저 크롬드라이버를 사용해서 불러옵니다. browser = webdriver.chrome() 그리고 창을 최대화해서 띄웁니다. browser.maximize_window() # 창 지난번에도 했던것처럼 가고자 하는 웹페이지의 url을 가져 옵니다. url 변수에 넣어줍니다. 네이버 항공권 페이지에 들어가 보면 url을 가져올수 있습니다. url = "https://flight.naver.com/flights/" browser.get(url) 웹페이지에서 개발자도구를 사용해서 살펴 보면 가..

27일차 오늘은 이어서 셀리니움을 공부했습니다. 오늘은 주말이라 놀고 싶은데 후딱 수업을 끝내고 놀아보도록 하겠습니다. 딴 이야기지만, 파이썬 웹 개발 수업 한 달 과정이 거의 끝나갑니다. 요즘은 스크래핑 수업을 들으면서 초반에 배웠던 파이썬 문법을 다시 복습하고 있는데 사실 한 번 수업 듣고 문제 몇 번 풀고 그 이후에 다 잊어버려서 (거의) 새로 공부하는 것 같지만 그래도 여러번 봐서 그런지 확실히 전보다는 익숙해진 느낌입니다. 오늘은 셀레니움을 통해서 네이버 브라우저에서 알아서 로그인 하는 것을 학습했습니다. from selenium import webdriver browser = webdriver.Chrome() # 1. 네이버로 이동 broeser.get("http://naver.com") # ..

26일차 오늘은 셀레니움에 대해 배웠습니다. 셀레니움은 웹페이지에서 클릭이나 페이지 이동, 글자 쓰기 같은 세세한 작업을 할수 있게 해주는 것입니다. 먼저 selenium 을 install명령으로 설치합니다. 그리고 또 필요한것은 크롬 웹 드라이버를 설치하는것인데요, 크롬의 더보기를 클릭해서 현재 나의 크롬 버전이 몇인지를 봅니다. 저는 87.xx 인것으로 나오네요. 구글에서 크롬 드라이버를 검색해서 나의 버전에 맞는 드라이버를 다운받습니다. 저는 맥을 사용하기 때문에 맥용으로 다운 받았습니다. 다운받은 드라이버를 파이썬 가상환경이 설정된 폴더에 넣어줍니다. 이러면 준비가 다 된것입니다. 오늘 연습은 vscode가 아닌 터미널에서 했습니다. 파이썬은 터미널 환경에서 한줄씩 실행하면서 해볼수 있는 장점이 ..

오늘 스크래핑은 네이버금융에 주가 페이지를 활용해 연습해 보았습니다. 시가 총액 순위를 200위까지 가져와서 데이타를 csv형태의 파일로 만들어서 엑셀로 열어 보는 것입니다. import하는것은 앞에서와 마찬기자로 requests와 beautifulsoup그리고 여기에 하나더 csv 입니다. 먼저 url 변수를 선언해서 주소를 가져옵니다. 주식 시가총액을 검색해서 페이지로 들어가면 순위별로 주식회사의 이름이 뜹니다. 앞에서 배웠던것과 비슷하게 url에 page이후에 나오는 숫자를 변경하면 원하는 페이지로 갈수있습니다. url = "https://finance.naver.com/sise/sise_market_sum.nhn?sosok=0&page=" page뒤에 숫자를 지우고 url에 넣어줍니다. for반복..

24회차 다음에서 이미지 파일을 가져오는 스크래핑을 연습해 보았습니다. 역대 영화 순위 5위 안에 드는 영화들의 이미지 파일을 저장하는 것인데 사람이 작업을 하면 3번이상의 클릭을 거쳐야만 이미지 파일을 저장할수 있는 있습니다. 하지만 우린 파이썬이 있으니까요. 한번의 코딩으로 가능!! 오늘도 beautifulsoup으로 진행합니다. 먼저 다음에서 영화를 검색해보면 메인 화면에서 연도별 영화 순위를 볼수 있습니다. 2019년, 2018년 이렇게 클릭하면서 url이 어떻게 바뀌는지 확인할수 있습니다. 이부분을 앞으로 이용하도록 합니다. 먼저 영화의 포스터 이미지들이 제대로 가져와지는지 코딩으로 알아 보겠습니다. 시작은 항상 똑같이 합니다. requests 와 beautifulsoup을 import해 줍니다..

23일차 수업입니다. 지난 번에 이어서Beautifulsoup 를 활용해서 웹페이지를 스크래핑해오는 수업을 들었습니다. 지난 번에는 쿠팡 홈페이지에서 한 페이지 안에 제품명, 가격, 평점, 리뷰수를 가져오는 작업을 했고,광고 중인 상품 등 내가 필요 없는 특정 상품을 제외하고 스크래핑하는 방법,리뷰 200개 이상, 평점 4.5 이상의 제품 등 내가 원하는 특정한 제품만 스크래핑하는 방법도 배웠습니다. 오늘은 여러 페이지를 스크래핑 하는 방법과 링크를 스크래핑해서 출력값으로 나온 링크를 누르면 바로 그 링크로 연결되도록 하는 것을 배웠습니다. (링크를 출력한다는 뜻 ^ㅠ^) 여러 페이지를 스크래핑하는 방법 반복문 for 와 range를 사용해서 1부터 5까지 숫자가 반복되게 만들어줍니다. for i in..

쿠팡 스크래핑을 계속 하겠습니다. 어제까지 제품명, 가격, 평점, 리뷰수까지 가져오는 코드를 작성해 보았습니다. 오늘은 거기서 광고를 제외하고, 내가 원하는 평점이상의 제품들만 가져오는 코드를 완성해나가 보겠습니다. 여기서 정규식이라는것도 나오는데 이부분은 강사님도 너무 다양하고 공부할게 많다고 설명했고 자세히 공부하지 못했습니다. 오늘 사용하는 것만 간단히 설명해보면 일단 re 라이브러리를 불러옵니다 import re 를 맨 위에 추가 해 줍니다. 그리고 변수를 추가해 줍니다. soup 변수 아래에items = soup.find_all("li", attrs={"class":re.compile("^search-product")})attrs에 re.compile 메소드를 추가하고, search-produc..

21일차 오늘은 쿠팡에 있는 페이지를 스크랩핑 하는 것을 학습했습니다. 먼저 get과 post 방식의 http 메소드를 다시한번 짚고 넘어가겠습니다. get방식은 url자체에 정보를 담아 서버로 보내는 방식입니다. 우리가 쿠팡 페이지를 볼때 주소창을 클릭해보면 주소뒤에 다양한 정보들이 담겨 있습니다. 이렇게 쉽게 볼수 있도록 정보를 담아보내는것이 get입니다. post는 url 자체에 정보를 담지 않고 html의 body안에 정보를 넣어 보내는것입니다. id나 비밀번호 같은 것들을 url 자체에 담아 보내게 되면 보안에 치명정이겠죠. 물론 post도 엄청나게 안전한것은 아니지만 get에 비해서는 나름대로 안전합니다. 그리고 나서 다시 쿠팡 스크래핑을 연습했습니다. 시작은 항상 똑같습니다. beautifu..