최근 파이썬 패키지 중에서 핫한 프로젝트는 pynecone 프로젝트인것 같습니다. 파인콘이라고도 불리는데요. pynecone 파이썬으로 웹앱을 만들때, 하나의 프레임워크로 모든 것을 만들 수 있는 프로젝트입니다. https://pynecone.io/ Pynecone: The easiest way to build web apps. Completely customizable. All Pynecone components are fully customizable. Change the colors, fonts, and styles to match your project. Styling guide -> pynecone.io 즉 아무것도 하지 않아도 파이썬 하나로만 서비스가 가능한데요. 기존 웹 서비스는 사용하는 프..
파이썬에서 동적 페이지를 크롤링하려면 selenium이 필요한데요. selenium이 없이 동적 페이지를 크롤링하는 방법을 알아보겠습니다. 동적 페이지란? 동적 페이지(dynamic website)는 기존의 정적 페이지(static website)의 반대말입니다. 정적 페이지는 실제로 서버에 페이지가 존재하는 형태입니다. 하지만 동적 페이지는 요청에 따라서 페이지를 그때그때 만들어서 제공하는 것입니다. 정적 페이지는 페이지를 보여줄 때 별도로 작업이 필요 없기 때문에 빠르다는 장점이 있고요. 다만 수정할 때에 직접 파일을 매번 수정해야 한다는 단점이 있습니다. 예를 들어 유튜브 페이지는 페이지를 아래로 내리더라도 실제 페이지 주소 등이 변하지 않는데요. 이러한 사이트를 동적 페이지라고 할 수 있습니다. ..
유튜브에서 채널에서 영상을 검색하면 최대 검색값이 50인데요. 이때 50개를 넘는 리스트를 추출하는 방법을 알아보겠습니다. 유튜브 API에 대해서는 저번에 채널 ID 추출에서 한번 다룬적이 잇는데요. 2022.01.26 - [Tip & Tech/Python] - 유튜브 채널 ID 추출하는 방법 유튜브 채널 ID 추출하는 방법 파이썬에서 youtube API를 통해서 정보를 추출하려면 채널 ID라는 항목이 나오는데요. 2021.12.30 - [Tip & Tech/Python] - 파이썬 유튜브 API 연동하기 파이썬 유튜브 API 연동하기 저번에는 크롤링으로 하는 dorudoru.tistory.com 기본적인 API 사용법은 해당 포스팅을 참고하시면 도움이 될 것 같습니다. 그리고 구글의 API 가이드에 ..
파이썬 머신러닝 기초를 한번 제가 공부하면서 정리하고 있습니다. 파이썬에서 머신러닝을 하기 위해서는 무엇보다 데이터 전처리가 중요한데요. 데이터 사이언티스트도 가장 많은 시간을 할애하는 작업은 데이터 전처리(cleaning and organizing data)입니다. 주요 내용은 Python 데이터 분석 실무 위키 북스를 참고하였습니다. https://wikidocs.net/16582 04-3. 데이터 전처리 모든 데이터 분석 프로젝트에서 데이터 전처리는 반드시 거쳐야 하는 과정이다. 대부분의 데이터 분석가가 좋아하지 않는 과정이지만, 분석 결과/인사이트와 모델 성능에 직접적인 ... wikidocs.net 구글 코랩 설정하기 구글 코랩은 구글에서 지원하는 웹에서 python 스크립트를 작성하고 실행할 ..
파이썬에서 웹 크롤링을 할때 날짜 관련된 에러가 발생할 경우가 있습니다. 크롤링시 Datetime 에러 먼저 살펴볼 것은 파이썬의 datetime이 지원하지 않는 포맷이어서 발생하는 에러입니다. datetime은 파이썬에서 날짜와 시간을 표현하는 패키지 입니다. 아래와 같이 엑셀에서 지원하지 않는 형식이라고 하는데요. Excel does not support datetimes with timezones. File "C:\python\lib\site-packages\pandas\core\generic.py", line 2284, in to_excel formatter.write( File "C:\python\lib\site-packages\pandas\io\formats\excel.py", line 840..
업무중 강의할때 마지막으로 강의후기를 받아야 하는데요. 최근에는 오프라인 강의를 하다보면 이 URL링크를 학생들에게 알려주기가 쉽지 않습니다. 이때 QR코드를 통해서 만들면 스마트폰으로 찍어서 전달할 수 있는데요. 오늘은 파이썬에서 QR코드로 URL링크를 만드는 방법을 알아보겠습니다. 파이썬으로 QR코드 생성하기 먼저 qrcode 패키지를 설치해야지 파이썬에서 QR코드를 생성할 수 있습니다. 파이썬은 이처럼 다양한 패키지가 있어서 프로그램을 하나씩 다 코딩하지 않아도, 이미 만들어진 패키지로 간단하게 프로그램을 만들수 있는 장점이 있습니다. pip install qrcode 추가적으로 image패키지도 설치합니다. 이후 파이썬에서 QR코드를 만드는 것은 아래의 간단한 코드로 qr코드 생성이 가능한데요. ..