파이썬에서 동적 페이지를 크롤링하려면 selenium이 필요한데요. selenium이 없이 동적 페이지를 크롤링하는 방법을 알아보겠습니다. 동적 페이지란? 동적 페이지(dynamic website)는 기존의 정적 페이지(static website)의 반대말입니다. 정적 페이지는 실제로 서버에 페이지가 존재하는 형태입니다. 하지만 동적 페이지는 요청에 따라서 페이지를 그때그때 만들어서 제공하는 것입니다. 정적 페이지는 페이지를 보여줄 때 별도로 작업이 필요 없기 때문에 빠르다는 장점이 있고요. 다만 수정할 때에 직접 파일을 매번 수정해야 한다는 단점이 있습니다. 예를 들어 유튜브 페이지는 페이지를 아래로 내리더라도 실제 페이지 주소 등이 변하지 않는데요. 이러한 사이트를 동적 페이지라고 할 수 있습니다. ..

유튜브에서 채널에서 영상을 검색하면 최대 검색값이 50인데요. 이때 50개를 넘는 리스트를 추출하는 방법을 알아보겠습니다. 유튜브 API에 대해서는 저번에 채널 ID 추출에서 한번 다룬적이 잇는데요. 2022.01.26 - [Tip & Tech/Python] - 유튜브 채널 ID 추출하는 방법 유튜브 채널 ID 추출하는 방법 파이썬에서 youtube API를 통해서 정보를 추출하려면 채널 ID라는 항목이 나오는데요. 2021.12.30 - [Tip & Tech/Python] - 파이썬 유튜브 API 연동하기 파이썬 유튜브 API 연동하기 저번에는 크롤링으로 하는 dorudoru.tistory.com 기본적인 API 사용법은 해당 포스팅을 참고하시면 도움이 될 것 같습니다. 그리고 구글의 API 가이드에 ..

파이썬 머신러닝 기초를 한번 제가 공부하면서 정리하고 있습니다. 파이썬에서 머신러닝을 하기 위해서는 무엇보다 데이터 전처리가 중요한데요. 데이터 사이언티스트도 가장 많은 시간을 할애하는 작업은 데이터 전처리(cleaning and organizing data)입니다. 주요 내용은 Python 데이터 분석 실무 위키 북스를 참고하였습니다. https://wikidocs.net/16582 04-3. 데이터 전처리 모든 데이터 분석 프로젝트에서 데이터 전처리는 반드시 거쳐야 하는 과정이다. 대부분의 데이터 분석가가 좋아하지 않는 과정이지만, 분석 결과/인사이트와 모델 성능에 직접적인 ... wikidocs.net 구글 코랩 설정하기 구글 코랩은 구글에서 지원하는 웹에서 python 스크립트를 작성하고 실행할 ..

파이썬에서 웹 크롤링을 할때 날짜 관련된 에러가 발생할 경우가 있습니다. 크롤링시 Datetime 에러 먼저 살펴볼 것은 파이썬의 datetime이 지원하지 않는 포맷이어서 발생하는 에러입니다. datetime은 파이썬에서 날짜와 시간을 표현하는 패키지 입니다. 아래와 같이 엑셀에서 지원하지 않는 형식이라고 하는데요. Excel does not support datetimes with timezones. File "C:\python\lib\site-packages\pandas\core\generic.py", line 2284, in to_excel formatter.write( File "C:\python\lib\site-packages\pandas\io\formats\excel.py", line 840..

업무중 강의할때 마지막으로 강의후기를 받아야 하는데요. 최근에는 오프라인 강의를 하다보면 이 URL링크를 학생들에게 알려주기가 쉽지 않습니다. 이때 QR코드를 통해서 만들면 스마트폰으로 찍어서 전달할 수 있는데요. 오늘은 파이썬에서 QR코드로 URL링크를 만드는 방법을 알아보겠습니다. 파이썬으로 QR코드 생성하기 먼저 qrcode 패키지를 설치해야지 파이썬에서 QR코드를 생성할 수 있습니다. 파이썬은 이처럼 다양한 패키지가 있어서 프로그램을 하나씩 다 코딩하지 않아도, 이미 만들어진 패키지로 간단하게 프로그램을 만들수 있는 장점이 있습니다. pip install qrcode 추가적으로 image패키지도 설치합니다. 이후 파이썬에서 QR코드를 만드는 것은 아래의 간단한 코드로 qr코드 생성이 가능한데요. ..

오늘은 파이썬으로 특정 페이지를 크롤링 한 다음 글자 수를 세는 방법을 알아보겠습니다. 파이썬에서 웹페이지 글자수 세기 먼저 일반적인 크롤링처럼 BeautifulSoup와 request를 불러와야 하고 마지막으로 태그를 제거하기 위해서 re도 불러옵니다. 혹시 파일을 출력할려면 판다스를 통해서 csv나 엑셀로 파일을 내려받을 수 있습니다. from bs4 import BeautifulSoup import requests import re import pandas as pd 그리고 일반적으로 파싱하는 것처럼 파싱을 하면 됩니다. address = "크롤링페이지주소" request = requests.get(address) html = request.text soup = BeautifulSoup(html, ..

파이썬에서 패키지를 설치하다 보면 아래처럼 pip의 버전을 업그레이드 하라는 Warning이 뜨는데요. 파이썬 pip Warning 메시지 아래와 같이 파이썬의 PIP버전이 최신이 아니라서 아래와 같이 PIP를 업그레이드 하라는 에러메시지가 나옵니다. WARNING: You are using pip version 21.2.4; however, version 22.1.2 is available. You should consider upgrading via the 'C:\python\python.exe -m pip install --upgrade pip' command. pip install --upgrade pip 하지만 업그레이드 명령어를 사용하는 경우 관리자 권한으로 사용하더라도 아래와 같은 액세스가 ..

업무 중에 RSS를 크롤링해야하는 건이 있어서 파이썬을 통해서 RSS를 크롤링하는 방법을 알아보겠습니다. 파이썬으로 RSS 크롤링하기 먼저 파이썬 패키지인 Feedparser를 깔아야 합니다. pip install feedparser 그리고 기본적인 패키지들을 불러왔습니다. 웹페이지를 위한 Requests와 분석을 위한 BeautifulSoup 불러왔고 출력을 위해서 Pandas도 불러왔습니다. import feedparser import pandas as pd from bs4 import BeautifulSoup import requests 그리고 제 블로그의 RSS를 불러와봤습니다. 기본 사용법은 feedparser 자습서 사이트에 나와있습니다. Common RSS Elements — feedpars..

오늘은 파이썬으로 공공데이터포털 API와 연동하는 방법을 알아보겠습니다. 오늘 이야기를 하기 전에 먼저 API가 무엇인지부터 알아보도록 하겠습니다. API(application programming interface)란? API는 말그대로 컴퓨터와 컴퓨터간을 연결해주는 인터페이스입니다. 즉 우리가 영수증을 보면 아래처럼 판매처, 날짜, 금액, 거래유형, 이용카드 등의 규격에 맞춰서 표현해주기 때문에 누구든지 이 영수증을 보고 동일한 것으로 이해하게 됩니다. 이러한 영수증 양식에 누군가는 달러로 쓰고, 또 일자를 단군력 등을 사용한다면 소통하기 어려울 것입니다. 그래서 서로 소통하기 편하게 다른 컴퓨터간 데이터를 송수신할때 정한 규격을 API라고 합니다. API(application programming ..

데이터 통신시 데이터 유출은 심각한 문제가 될 수 있습니다. 그래서 업무에서는 주요 데이터를 암호화해서 전송하는데요. 오늘은 이때 암호화를 하고 푸는 방법을 알아보겠습니다. AES 관련 패키지 설치 파이썬에서는 암호화 패키지를 제공하고 있습니다. pycryptodome입니다. Welcome to PyCryptodome’s documentation — PyCryptodome 3.14.1 documentation pycryptodome.readthedocs.io 예전부터 사용되던 PyCrypto와 호환성을 갖게 만든것이 pycryptodome이구요. 아예 새로운 라이브러리는 pycryptodomex입니다. pip3 install pycryptodome 원하시는 버전을 설치하시면 됩니다. 파이썬 AES암호화 ..