노트와 노트

직접 json 데이터를 파싱해서 Mask R-CNN 모델에 사용할 라벨링 파일로 변환해야 하는 일이 생겼다ㅠ json 데이터 파싱을 간단한 것만 해봤던지라 복잡한 구조의 json 파일을 보니 머리가 뺑뺑 돌고ㅠ 간단한 것 파싱해본 것도 필요할 때만 잠깐 검색해서 하고 그랬어서 이번 기회에! json 파일 파싱하는 것과 복잡한 구조의 json 파일을 직접 파싱해보는 것까지 진행해본 것을 기록 해두기로 했다. json 파일 파싱하기 해당 부분은 아래 링크 글 참고하여 작성했습니다. https://popcorn16.tistory.com/12 파이썬으로 JSON 파싱하기 openAPI로 데이터를 받을 때 JSON에 대해서 처음 알게 되었습니다. 대부분의 API가 JSON 형식으로 데이터를 주기 때문에 꼭 알아야..

os: windows Python 3.8 Pycharm jdk 17.0.1 JPype1-1.1.2-cp38-cp38-win_amd64.whl 데이터 준비하기 네이버 블로그 게시물 데이터를 크롤링 한 뒤, 엑셀 파일 형태로 저장한 후 해당 데이터를 가지고 단어 빈도수를 워드 클라우드 및 막대 그래프로 나타내 보겠습니다. 먼저 아래와 같이 5개 블로그에서 긁어온 크롤링 데이터를 하나의 파일로 통합하겠습니다. [1] naver_blog_post_crawling.xlsx [2] naver_blog_post_crawling.xlsx [3] naver_blog_post_crawling.xlsx [4] naver_blog_post_crawling.xlsx [5] naver_blog_post_crawling.xlsx ..

최근에 간단한 웹 사이트 모니터링 프로그램을 작성할 일이 생겼다. 매일 1번씩 특정 웹사이트의 상품 목록을 훑는 프로그램인데, 이걸 매일 내가 직접 돌리는 건 너무 귀찮은 일이라 자동화하는 방법이 없을까 하고 검색해보니 파이썬에서 특정 시간에 파이썬 스크립트를 자동으로 실행해주는 'Schedule' 모듈을 지원하고 있었다. schedule 모듈이 설치되어 있지 않다면, 우선 아래 명령어를 통해 설치해준다. pip install schedule Example import schedule import time def job(): # 수행할 작업 print("I'm working...") schedule.every(10).minutes.do(job) # 10분마다 수행 schedule.every().hour...

[용어 정리] 크롤링(Crawling): 웹 사이트, 하이퍼링크, 데이터, 정보 자원을 자동화된 방법으로 수집, 분류, 저장하는 것. 크롤러(Crawler): 크롤링을 위해 개발된 소프트웨어. 스크래핑(scraping): 소프트웨어를 통해 대상 웹사이트와 같은 데이터 소스에서 데이터 자체를 추출하여 특정 형태로 저장하는 것. ※출처: [네이버 지식백과] 크롤링 [crawling] (IT용어사전, 한국정보통신기술협회) 웹 페이지를 크롤링하는 작업은 상당한 양의 정보들을 빠르게 수집할 수 있어 크롤링을 하는 사람 입장에서는 굉장히 편리한 기술이지만, 정보를 무단으로 복제하게 되면 지식재산권 침해 및 서버에 상당한 부담을 줄 수 있다. 실제로 우리나라에서도 크롤링 프로그램을 통해 타 회사 앱에서 제공하는 정보..