파이썬으로 코딩하다 보면 pip를 자주 만나게 됩니다. 오늘은 이 PIP에 대해서 알아보겠습니다. 파이썬 PIP란? pip는 파이썬의 패키지 인스톨러입니다. 윈도우에서 앱 및 기능에서 설치된 프로그램을 관리할 수 있는 것처럼 파이썬에서는 PIP를 활용해서 패키지를 설치하고 관리할 수 있습니다. 그리고 PIP는 python설치 경로 아래 Scripts(대소문자 구별) 폴더에 위치해 있습니다. 혹시 Path를 설정 안 했다면, 실제 파이썬 설치 경로에서 Scripts 폴더에 가서 실행하셔야 합니다. pip 명령어 pip의 버전 확인은 pip --version으로 할 수 있습니다. 그리고 현재 설치된 패키지는 pip list를 통해서 확인 가능합니다. 아래와 같이 설치된 모든 패키지와 버전을 보여줍니다. 그리..

파이썬을 서버에서 crontab을 통해서 스케쥴링하여 실행하는 방법을 알아보겠습니다. Crontab 사용법 crontab은 리눅스에서 원하는 작업을 원하는 시간에 스케쥴링 해주는 툴입니다. 일반적으로 shell script 인 .sh확장자 파일을 주로 등록하여 사용합니다. 아래처럼 mtime, ctime을 활용해서 sh파일을 만들곤 합니다. 생성(create) 3일 이상된 파일 삭제 find ./ -ctime +2 -exec rm {} \ ; find /home -name '*.log' -ctime +2 -exec rm {} \; 삭제 명령 수정한지(modify)- 1일 지난 파일 삭제 예 find [디렉토리] -mtime +0 -exec rm -f {} \; 다시 돌아와 crontab의 주요 명령어는 ..

저번에는 크롤링으로 하는 방법을 알아보았는데요. 구글은 API를 제공해줘서 좀더 편한방법으로도 크롤링할 수 있습니다. 2021.12.28 - [Tip & Tech/Python] - 파이썬 유튜브 제목, 조회수 크롤링하기 파이썬 유튜브 제목, 조회수 크롤링하기 안녕하세요. 오랫만에 파이썬 포스팅을 하게 되었네요. 오늘은 유튜브 페이지의 제목과 조회수를 크롤링 해보겠습니다. 유튜브 페이지 크롤링 저번에 포스팅과 같이 크롤링은 처음 구조 확인부 dorudoru.tistory.com 유튜브 API API는 애플리케이션 소프트웨어를 구축하고 통합하기 위한 정의 및 프로토콜 세트로, 애플리케이션 프로그래밍 인터페이스(Application Programming Interface)의 약자입니다. 즉 API를 사용하면 ..

안녕하세요. 오랫만에 파이썬 포스팅을 하게 되었네요. 오늘은 유튜브 페이지의 제목과 조회수를 크롤링 해보겠습니다. 유튜브 페이지 크롤링 저번에 포스팅과 같이 크롤링은 처음 구조 확인부터 시작되는데요. 유튜브 재생 플레이어의 경우 meta 정보에 포함되어 있습니다. 2021.02.17 - [Tip & Tech/Python] - 파이썬으로 네이버 스포츠 농구 일정 크롤링 하기 파이썬으로 네이버 스포츠 농구 일정 크롤링 하기 오늘은 파이썬을 이용해서 네이버 스포츠의 농구 일정을 크롤링 하는 프로그램을 짜보겠습니다. 먼저 오늘 크롤링 할 네이버 농구 일정 페이지입니다. 먼저 크롤링하기전에 주소를 찾습니다. sp dorudoru.tistory.com 이렇게 제목이 있구요. itemprop="duration" 재생..

저번시간에 이어서 판다스를 계속 공부해보겠습니다. 2021.09.01 - [Tip & Tech/Python] - 파이썬 기본 문법 강의 - 1일차 2021.09.02 - [Tip & Tech/Python] - 파이썬 기본 문법 강의 2일차 - 제어문으로 로또 게임 만들기 2021.09.03 - [Tip & Tech/Python] - 파이썬 기초 문법 3일차 - Numpy 2021.09.05 - [Tip & Tech/Python] - 파이썬 기초문법 4일차 - 판다스 알아보기 2021.09.07 - [Tip & Tech/Python] - 파이썬 기초 문법 5일차 - 판다스 2편 결측치 처리 결측치란 말처럼 손실 데이터를 의미하며, 파이썬 에서는 NaN 등으로 표시됩니다. 일반적으로 데이터를 처리할때 없어진..

오늘은 4일차 파이썬 강의 판다스를 알아보겠습니다. 2021.09.01 - [Tip & Tech/Python] - 파이썬 기본 문법 강의 - 1일차 2021.09.02 - [Tip & Tech/Python] - 파이썬 기본 문법 강의 2일차 - 제어문으로 로또 게임 만들기 2021.09.03 - [Tip & Tech/Python] - 파이썬 기초 문법 3일차 - Numpy 2021.09.05 - [Tip & Tech/Python] - 파이썬 기초문법 4일차 - 판다스 알아보기 2021.09.07 - [Tip & Tech/Python] - 파이썬 기초 문법 5일차 - 판다스 2편 Pandas란? 판다스는 파이썬에서 데이터 구조 및 데이터 구조를 분석할 수 있는 오픈소스 라이브러리 입니다. https://p..

이제 파이썬 교육 3일차 입니다. 2021.09.01 - [Tip & Tech/Python] - 파이썬 기본 문법 강의 - 1일차 2021.09.02 - [Tip & Tech/Python] - 파이썬 기본 문법 강의 2일차 - 제어문으로 로또 게임 만들기 2021.09.03 - [Tip & Tech/Python] - 파이썬 기초 문법 3일차 - Numpy 2021.09.05 - [Tip & Tech/Python] - 파이썬 기초문법 4일차 - 판다스 알아보기 2021.09.07 - [Tip & Tech/Python] - 파이썬 기초 문법 5일차 - 판다스 2편 오늘은 파이썬의 기초 문법 중 Numpy를 배워보았습니다. Numpy란? 공식 홈페이지에 따르면 Numpy는 파이썬의 배열과 벡터를 처리하기 위한..

어제에 이어서 2일차 교육이 진행됩니다. 2021.09.01 - [Tip & Tech/Python] - 파이썬 기본 문법 강의 - 1일차 2021.09.03 - [Tip & Tech/Python] - 파이썬 기초 문법 3일차 - Numpy 2021.09.05 - [Tip & Tech/Python] - 파이썬 기초문법 4일차 - 판다스 알아보기 2021.09.07 - [Tip & Tech/Python] - 파이썬 기초 문법 5일차 - 판다스 2편 오늘 시간에는 파이썬의 제어문에 대해서 배워보았습니다. 제어문이란? 순차 반복 선택 제어문은 위에 나타난 순차, 반복, 선택이라는 3가지 동작을 하는 문법을 뜻합니다. 주요한 제어문에는 IF문, For문, While문이 있는데요. 이중 가장 먼저 먼저 IF문에 대..

교육으로 듣고 있는 파이썬 기본 문법 강의 2021.09.02 - [Tip & Tech/Python] - 파이썬 기본 문법 강의 2일차 - 제어문으로 로또 게임 만들기 2021.09.03 - [Tip & Tech/Python] - 파이썬 기초 문법 3일차 - Numpy 2021.09.05 - [Tip & Tech/Python] - 파이썬 기초문법 4일차 - 판다스 알아보기 2021.09.07 - [Tip & Tech/Python] - 파이썬 기초 문법 5일차 - 판다스 2편 사실 파이썬에 대해서는 간단한 부분은 기사 자격증을 독학으로 따면서 보긴 했지만, 전문가로부터 전체적으로 파이썬 강의를 듣는 건 처음입니다. 강의 듣고 나중에 다시 보기 위해서 이렇게 간단히 정리해봅니다.. 확실히 독학 때에 궁금했던..

안녕하세요. 오늘은 파이썬을 활용해서 네이버 웹툰 사이트를 웹크롤링 하는 방법을 알아보겠습니다. 웹크롤링 단계 사실 웹크롤링은 웹페이지의 가져와서 데이터를 추출해 내는 것인데요. 나무위키에 따르면 아래와 같다고 합니다. 크롤링(crawling) 혹은 스크레이핑(scraping)은 웹 페이지를 그대로 가져와서 거기서 데이터를 추출해 내는 행위다. 크롤링하는 소프트웨어는 크롤러(crawler)라고 부른다. 저와 같은 초보일수록 기초적인 실수를 안하려면 단계를 정하고 그에 따라서 코딩하는 것이 시행착오를 줄일 수 있습니다. 저는 일반적으로 크롤링하려는 페이지 구조확인 및 크롤링하고자 하는 위치파악 코딩 및 필요한 내용 구글링 테스트 및 디버깅 위와 같은 순서로 짜고 있는데요. 이에 따라서 포스팅 해보겠습니다...