노트와 노트

Flask Flask는 Python 기반의 마이크로 웹 프레임워크(Micro Web Framework) 중 하나로, 간단하게 웹 페이지 혹은 api 서버를 구현할 수 있다. Web Framework 웹 프레임워크(Web Framework) 또는 웹 애플리케이션 프레임워크(Web application Framework)는 동적인 웹 페이지나 웹 애플리케이션, 웹 서비스 개발 보조용으로 만들어지는 애플리케이션 프레임워크의 일종이다. 웹 페이지를 개발하는 과정에서 겪는 어려움을 줄이는 것이 주 목적으로 통상 데이터베이스 연동, 템플릿 형태의 표준, 세션 관리, 코드 재사용 등의 기능을 포함하고 있다. Flask vs Django Flask Django 복잡도 가벼움(장고의 1/10 수준) (micro fram..

직접 json 데이터를 파싱해서 Mask R-CNN 모델에 사용할 라벨링 파일로 변환해야 하는 일이 생겼다ㅠ json 데이터 파싱을 간단한 것만 해봤던지라 복잡한 구조의 json 파일을 보니 머리가 뺑뺑 돌고ㅠ 간단한 것 파싱해본 것도 필요할 때만 잠깐 검색해서 하고 그랬어서 이번 기회에! json 파일 파싱하는 것과 복잡한 구조의 json 파일을 직접 파싱해보는 것까지 진행해본 것을 기록 해두기로 했다. json 파일 파싱하기 해당 부분은 아래 링크 글 참고하여 작성했습니다. https://popcorn16.tistory.com/12 파이썬으로 JSON 파싱하기 openAPI로 데이터를 받을 때 JSON에 대해서 처음 알게 되었습니다. 대부분의 API가 JSON 형식으로 데이터를 주기 때문에 꼭 알아야..

os: windows Python 3.8 Pycharm jdk 17.0.1 JPype1-1.1.2-cp38-cp38-win_amd64.whl 데이터 준비하기 네이버 블로그 게시물 데이터를 크롤링 한 뒤, 엑셀 파일 형태로 저장한 후 해당 데이터를 가지고 단어 빈도수를 워드 클라우드 및 막대 그래프로 나타내 보겠습니다. 먼저 아래와 같이 5개 블로그에서 긁어온 크롤링 데이터를 하나의 파일로 통합하겠습니다. [1] naver_blog_post_crawling.xlsx [2] naver_blog_post_crawling.xlsx [3] naver_blog_post_crawling.xlsx [4] naver_blog_post_crawling.xlsx [5] naver_blog_post_crawling.xlsx ..

PyQT5로 간단한 GUI 프로그램을 제작한 후, 다른 사람에게 테스트를 부탁하기 위해 실행 파일로 변환 후 배포하려고 했는데.. 이럴수가ㅠ 이틀동안 오류 해결하느라 머리 터지는 줄 알았다...... 하나 해결하면 하나가 새로 나타나고 또 하나 해결하면 다른 오류가 ㅠㅠ 한참 헤매다 드디어 해결했고 다시는 이런 괴로운 일 겪지 않도록 기록해두려 한다. PyQT5 5.15.2 pyinstaller 4.7 python 3.8 PyCharm Community Edition 2021.2.2 ※해당 라이브러리들이 설치되어 있지 않을 경우, 반드시 설치 필요 / 다른 버전의 경우, 테스트해보지 않았기 때문에 정상 작동하는지 모름 본 포스팅에서 다룰 파이썬 프로젝트 구성은 아래와 같다. PythonProject라는 ..

다양한 라이브러리들이 존재하지만, pymysql 라이브러리를 이용해서 데이터베이스에 연결하고 데이터를 조작해보았다. DB 연동하는 코드는 한 번 작성해두면 정말 편리해서 매번 찾아볼 수고를 덜기 위해 작성했다~ 1) pymysql 라이브러리 설치 pip install pymysql 2) DB 연결 및 cursor 설정 connect() 함수를 이용해 host의 DB와 연결한다. 본인이 연결할 DB에 맞게 정보를 입력해서 텍스트 형태로 인자를 넘겨주면 된다. cursor()는 연결할 DB의 fetch 동작을 관리하는 데 사용된다. 아래 코드처럼 기본 형태로 넘겨주게 되면 튜플 형태로 결과를 리턴해 준다. conn = pymysql.connect(host='hostname', user='username', ..

PyQT5와 QT Designer를 이용해서 간단한 UI를 구현하던 중, 오류가 발생하자 아래와 같은 팝업 창이 나타나고 '취소' 버튼을 누르자 아예 프로그램이 종료됐다. 오류 메시지 콘솔창에 별도로 출력 안 해주나? 싶어서 잠시 기다렸다가 '디버그' 버튼을 눌렀더니 아래와 같은 창이 떴다. 음...... 그냥 오류 메시지를 콘솔창에 띄우는 게 빠르겠다. PyQT가 오류 메시지를 콘솔창에 띄우도록 하는 방법 위처럼 설정해주고 나면, 오류가 발생하면 아래와 같이 오류 메시지가 콘솔창에 출력된다.

최근에 간단한 웹 사이트 모니터링 프로그램을 작성할 일이 생겼다. 매일 1번씩 특정 웹사이트의 상품 목록을 훑는 프로그램인데, 이걸 매일 내가 직접 돌리는 건 너무 귀찮은 일이라 자동화하는 방법이 없을까 하고 검색해보니 파이썬에서 특정 시간에 파이썬 스크립트를 자동으로 실행해주는 'Schedule' 모듈을 지원하고 있었다. schedule 모듈이 설치되어 있지 않다면, 우선 아래 명령어를 통해 설치해준다. pip install schedule Example import schedule import time def job(): # 수행할 작업 print("I'm working...") schedule.every(10).minutes.do(job) # 10분마다 수행 schedule.every().hour...

[용어 정리] 크롤링(Crawling): 웹 사이트, 하이퍼링크, 데이터, 정보 자원을 자동화된 방법으로 수집, 분류, 저장하는 것. 크롤러(Crawler): 크롤링을 위해 개발된 소프트웨어. 스크래핑(scraping): 소프트웨어를 통해 대상 웹사이트와 같은 데이터 소스에서 데이터 자체를 추출하여 특정 형태로 저장하는 것. ※출처: [네이버 지식백과] 크롤링 [crawling] (IT용어사전, 한국정보통신기술협회) 웹 페이지를 크롤링하는 작업은 상당한 양의 정보들을 빠르게 수집할 수 있어 크롤링을 하는 사람 입장에서는 굉장히 편리한 기술이지만, 정보를 무단으로 복제하게 되면 지식재산권 침해 및 서버에 상당한 부담을 줄 수 있다. 실제로 우리나라에서도 크롤링 프로그램을 통해 타 회사 앱에서 제공하는 정보..

Pycharm Community Edition 2020.3 Python 3.8 기존에 tkinter를 사용해 Python GUI 프로그래밍을 하다가 QT Designer를 통해 편하게 GUI 프로그래밍을 하기 위해 PyQt5를 설치하게 되었다. 파이참에 PyQt5를 설치하는 과정은 다음과 같다. 1. 파이참에서 File > Settings > Project: (프로젝트명) > Python Interpreter > + 클릭 2. + 클릭을 통해 나타난 'Available Packages' 화면에서 검색창에 'pyqt5', 'pyqt5 designer' 를 검색 후 설치 3. 패키지 설치가 완료되면 Install Package 버튼 위에 성공적으로 패키지가 설치되었다는 문구가 뜨고, Python Interp..