파이썬(python)으로 RSS 크롤링하는 방법
2022. 6. 29. 19:59
Tip & Tech/Python
업무 중에 RSS를 크롤링해야하는 건이 있어서 파이썬을 통해서 RSS를 크롤링하는 방법을 알아보겠습니다. 파이썬으로 RSS 크롤링하기 먼저 파이썬 패키지인 Feedparser를 깔아야 합니다. pip install feedparser 그리고 기본적인 패키지들을 불러왔습니다. 웹페이지를 위한 Requests와 분석을 위한 BeautifulSoup 불러왔고 출력을 위해서 Pandas도 불러왔습니다. import feedparser import pandas as pd from bs4 import BeautifulSoup import requests 그리고 제 블로그의 RSS를 불러와봤습니다. 기본 사용법은 feedparser 자습서 사이트에 나와있습니다. Common RSS Elements — feedpars..
파이썬 공공데이터포털 API 연동하기 - JSON 사용
2022. 6. 16. 19:11
Tip & Tech/Python
오늘은 파이썬으로 공공데이터포털 API와 연동하는 방법을 알아보겠습니다. 먼저 API가 무엇인지부터 알아보도록 하겠습니다. API(application programming interface)란? API는 컴퓨터와 컴퓨터간을 연결해주는 인터페이스입니다. 즉 우리가 영수증을 보면 아래처럼 판매처, 날짜, 금액, 거래유형, 이용카드 등의 규격에 맞춰서 써야지 서로 이해하기 쉬운것처럼 다른 컴퓨터간 데이터를 송수신할때 규격을 API라고 합니다. API(application programming interface 애플리케이션 프로그래밍 인터페이스[*], 응용 프로그램 프로그래밍 인터페이스)는 컴퓨터나 컴퓨터 프로그램 사이의 연결이다. 일종의 소프트웨어 인터페이스이며 다른 종류의 소프트웨어에 서비스를 제공한다.[..
파이썬 AES로 암호화하고 푸는 방법
2022. 6. 16. 12:09
Tip & Tech/Python
데이터 통신시 데이터 유출은 심각한 문제가 될 수 있습니다. 그래서 업무에서는 주요 데이터를 암호화해서 전송하는데요. 오늘은 이때 암호화를 하고 푸는 방법을 알아보겠습니다. AES 관련 패키지 설치 파이썬에서는 암호화 패키지를 제공하고 있습니다. pycryptodome입니다. Welcome to PyCryptodome’s documentation — PyCryptodome 3.14.1 documentation pycryptodome.readthedocs.io 예전부터 사용되던 PyCrypto와 호환성을 갖게 만든것이 pycryptodome이구요. 아예 새로운 라이브러리는 pycryptodomex입니다. pip3 install pycryptodome 원하시는 버전을 설치하시면 됩니다. 파이썬 AES암호화 ..
파이썬 가상환경 만들기
2022. 6. 2. 22:15
Tip & Tech/Python
파이썬을 작업할 때 가상환경을 만들면 편리한데요. 파이썬 가상환경? 파이썬을 활용하다보면 각각의 앱, 프로그램 개발할때 패키지가 다른 것이 사용됩니다. 그래서 한곳에서 개발을 쭉하다보면 이 프로그램에만 필요한 패키지가 무엇인지 알수가 없게 됩니다. 이때 가상환경을 통해서 프로그램을 개발하면 실제 사용하는 패키지만 가지고 할수 있고, 특히 웹서버 등 제한된 리소스를 가지고 개발해야할 때에는 가상환경에서 작업이 필요합니다. 웹서버에서 다른 프로그램이 사용하고 있는 패키지가 있어서 해당 패키지만을 사용해야 하는 등 실제 개발환경에서는 개인용 PC와 다른 상황이기 때문입니다. 파이썬에서는 이때 가상환경을 venv를 통해서 지원하고 있는데요. https://docs.python.org/ko/3/library/ve..
파이썬으로 엑셀하기 - 엑셀파일 하나로 합치기
2022. 6. 1. 09:32
Tip & Tech/Python
개인적으로 업무에서 파이썬을 활용하는 것은 주로 단순 업무의 반복을 자동화하기 위해서가 많다. 오늘은 그래서 파이썬을 활용해서 엑셀 파일을 합치는 방법을 알아보겠습니다. 회사에서 6월 경에는 상반기가 마무리되기 때문에 각종 자료 요청이 오는데요. 그래서 지난 통계를 제출해 달라는 요청이 옵니다. 그래서 각종 통계를 합쳐야하는 경우가 많은데요. 오늘은 이런 통계 엑셀을 하나의 파일로 합치는 방법을 알아보겠습니다. 파이썬으로 엑셀 합치기 오늘 파이썬에서 주로 활용할 라이브러리는 glob과 append입니다. 그 외의 엑셀과 판다스는 저번 포스팅에서 설명하였으니 참고하시기 바랍니다. 2022.05.31 - [Tip & Tech/Python] - 파이썬으로 엑셀하기 - sumif 함수 구현 파이썬으로 엑셀하기 ..
파이썬으로 엑셀하기 - sumif 함수 구현
2022. 5. 31. 07:49
Tip & Tech/Python
안녕하세요 오늘은 파이썬으로 sumif 함수를 구현하는 방법을 알아보겠습니다. 파이썬으로 SUMIF 함수 구현하기 먼저 파이썬으로 sumif함수를 구현하기 위해서는 pandas 패키지 설치가 필요합니다. 판다스는 파이썬에서 데이터 분석을 위한 필수 라이브러리입니다. pandas는 데이터 조작 및 분석을 위한 Python 프로그래밍 언어 용으로 작성된 소프트웨어 라이브러리입니다. 특히 숫자 테이블과 시계열 을 조작하기 위한 데이터 구조 와 연산을 제공합니다. 먼저 cmd를 입력하고 관리자 권한으로 명령프롬프트를 실행합니다. 이 후 pip 명령어를 통해서 판다스를 설치해줍니다. pip install pandas 관련된 패키지까지 모두 설치가 완료되면 이제 파이썬에서 판다스 라이브러리를 불러와야 합니다. im..
파이썬 워드 클라우드(Word cloud) 만들기
2022. 4. 26. 07:32
Tip & Tech/Python
파이썬으로 워드 클라우드 만들기 먼저 파이썬으로 워드 클라우드를 만들기 위해서는 아래의 과정이 필요합니다. 워드클라우드를 설치해 줘야 합니다.(pip install wordcloud) Konlpy 설치 Collection 설치 워드 클라우드란? 태그 클라우드라고도 불리우며 단어의 빈도수를 체크하여 시각적으로 표현하는 방식을 말합니다. 단어 구름이라는 뜻처럼 각각의 태그를 분석하여 중요도나 인기도를 고려하여 웹사이트에 표시합니다. 플리커에서 가장 먼저 사용되었다고 하네요. 태그 클라우드(영어: tag cloud) 또는 워드 클라우드(word cloud)는 메타 데이터에서 얻어진 태그들을 분석하여 중요도나 인기도 등을 고려하여 시각적으로 늘어 놓아 웹 사이트에 표시하는 것이다. 보통은 2차원의 표와 같은 형..
파이썬 웹페이지 표 크롤링 하는 방법(make2d)
2022. 3. 8. 20:46
Tip & Tech/Python
오늘은 Python에 make2d라는 기능을 통해서 표를 크롤링하는 방법을 알아보겠습니다. 파이썬으로 웹페이지 테이블 크롤링하기 파이썬으로 웹페이지의 테이블을 크롤링하기 위해서는 기존 패키지 이외에 html_table_parser라는 패키지를 설치하셔야 합니다. 2022.01.03 - [Tip & Tech/Python] - PIP 명령어 정리 PIP 명령어 정리 파이썬으로 코딩하다 보면 pip를 자주 만나게 됩니다. 오늘은 이 PIP에 대해서 알아보겠습니다. 파이썬 PIP란? pip는 파이썬의 패키지 인스톨러입니다. 윈도우에서 앱 및 기능에서 설치된 프로그램 dorudoru.tistory.com 파이선 패키지는 PIP로 설치할 수 있는데요. 명령어 정리를 참고하시면 좋습니다. pip install htm..
파이썬 텔레그램 챗봇 만들기 - 인포메시지 및 명령어 설정하기
2022. 2. 23. 07:14
Tip & Tech/Python
안녕하세요. 저번에 간단한 텔레그램 챗봇을 만드는 방법을 알아보았는데요. 2022.01.07 - [Tip & Tech/Python] - 파이썬 텔레그램 챗봇 만드는 방법 파이썬 텔레그램 챗봇 만드는 방법 오늘은 파이썬을 활용해서 간단하게 챗봇을 만들어보는 것을 진행해보겠습니다. 텔레그램 챗봇이란? 먼저 챗봇(chat bot)부터 설명을 드려야할 것 같습니다. 챗 봇은 말그대로 음성이나 문자를 통 dorudoru.tistory.com 이번에는 해당 기능에 이어서 인포메시지를 만드는 방법을 알아보겠습니다. 텔레그램 챗봇 인포 메시지란? 챗봇을 가장 처음 대화하면 아래와 같이 What can this bot do?로 시작하는 인포 메시지를 확인할 수 있습니다. 기본적으로 저번시간에 본 챗봇의 기본 동작은 사용..
파이썬 CSV 엑셀 한글 깨짐 해결하기
2022. 2. 17. 19:47
Tip & Tech/Python
파이썬으로 크롤링하여 CSV로 파일을 추출하면 간혹 한글이 깨지는 상황을 만나게 됩니다. 물론 파이썬이 아니더라도, CSV파일을 엑셀에서 읽다보면 한글이 깨지는채로 나오는데요. 아주 간단하게 파일을 크롤링하고 이를 CSV로 출력하면 한글이 포함되는 경우 아래처럼 한글이 깨집니다. 엑셀 CSV 한글 깨지는 이유? 엑셀에서 CSV가 깨지는 이유는 엑셀이 UTF-8로 인코딩된 파일을 잘못 열어서 인데요. Excel default encoding depends on the system. The workaround is to put three magical bytes to the file beginning. They are called BOM (Byte order mark) and say to the editor..