파이썬으로 네이버 스포츠 농구 일정 크롤링 하기

오늘은 파이썬을 이용해서 네이버 스포츠의 농구 일정을 크롤링 하는 프로그램을 짜보겠습니다. 먼저 오늘 크롤링 할 네이버 농구 일정 페이지입니다. 먼저 크롤링하기전에 주소를 찾습니다. sports.news.naver.com/basketball/schedule/index.nhn?date=20210224&month=02&year=2021&teamCode=&category=kbl 그리고 사이트구조를 크롬의 f12키를 통해서 찾아봅니다. 경기 일정은 DIV로 묶여져 있는데요. 치사하게 div class를 두개로 구분해놨습니다. class가 sch_tb와 sch_tb2로 구분되어 있습니다. 일단 여기까지 크롤링하는 프로그램을 짜보면, bs4, request, 저장하기 위해서 pandas를 부르구요 from bs4 ..

• format_list_bulleted Tip & Tech/Python
• · 2021. 2. 17.
• textsms

[Python] 디시인사이드 갤러리 웹 크롤링하기(1부)

요즘 개인적으로 Python을 하나씩 배워가고 있는데요. 저처럼 코딩에 익숙하지 않아도, 쉽게 만들어진 코딩 Tool이라서 원하는 기능을 쉽게 만들수 있는점이 참 좋네요. 오늘은 그중에서 Python으로 자주하는 웹크롤링을 한번 연습해 보고자 합니다. 너무나 잘 정리된 페이지가 있어서 여기를 보고 많이 참고하였습니다. 자연어처리 개발자 님의 페이지 : chicken-nlp.tistory.com/4 웹 크롤링이란? 위키의 설명에 따르면, 웹 크롤러(web crawler)는 조직적, 자동화된 방법으로 월드 와이드 웹을 탐색하는 컴퓨터 프로그램이다. 라고 정의되어 있습니다. 즉 자동으로 싸이트를 탐색해주는 인터넷 매크로(?)같은 프로그램이라고 보시면 됩니다. 웹 크롤링하기 1. 페이지 분석 웹크롤링을 하기 위..

• format_list_bulleted Tip & Tech/Python
• · 2020. 11. 19.
• textsms