노트와 노트

최근 하루가 멀다하고 고성능의 LLM이 쏟아져 나오는 세상에서, 계속해서 대형 언어 모델의 한계점으로 제기되고 있는 문제가 있다. 바로 ‘Hallucination(환각)’ 문제이다. 이번 포스팅에서는 할루시네이션이 무엇이고 주요 발생 원인은 무엇인지, 그리고 할루시네이션 완화를 위한 방안에는 어떤 것이 있고 실제 완화 방안을 도입한 사례까지 정리하려고 한다. <hr contenteditable="false" data-ke-type="horizontalRule" data-ke-sty..

해당 글은 MMDetection의 Swin Mask R-CNN Model을 사용하여 유방암 세그멘테이션 모델 학습 중 발생한 문제의 해결 방안을 정리해둔 글입니다.  (참고) MMDetectionOpenMMLab의 computer vision 프로젝트 중 하나로 Pytorch 기반의 open source object detection/segmentation toolbox이다.이미지 인식 작업에 사용되는 다양한 모델들을 간편하게 갈아 끼우며 train/test 할 수 있는 것이 주요 특징이다.https://github.com/open-mmlab/mmdetection GitHub - open-mmlab/mmdetection: OpenMMLab Detection Toolbox and BenchmarkOpenM..

밥먹듯이 자주 사용하는 도커 기본 명령어 모음집! 1. 상태/정보 확인 명령어 컨테이너 목록 출력 docker ps # 현재 가동중인 컨테이너 출력 docker ps -a # 중지된(stop) 컨테이너도 모두 출력 docker ps -s # 컨테이너 SIZE도 같이 출력 도커 용량 확인 docker system df # 도커 용량 정보 간략하게 확인 docker system df --verbose # 도커 용량 정보 상세하게 확인 도커 이미지 목록 출력 docker images 2. 도커 이미지 빌드 및 컨테이너 관련 명령어 도커 파일을 이용해 이미지 빌드하기 docker build -t [IMAGE NAME:TAG] [dockerfile path] ## docker build -t mmdetection..

두고두고 깜빡할 때마다 보고 쓸 깃/깃헙 명령어 정리! 1. Git 기본 명령어 깃 초기화하기 git init 깃 상태 확인하기 git status 깃 버전 생성하기 작업 디렉터리의 파일을 스테이지로 올리기 git add [파일명] git add . # 현재 작업 디렉터리에서 수정된 파일을 모두 스테이지에 올림 스테이지에 올라온 파일 커밋하기 git commit git commit -m '커밋 메시지 작성' git commit -am '커밋 메시지 작성' # 스테이징과 커밋 한 번에 처리 방금 커밋한 메시지 수정하기 git commit --amend 커밋 기록 확인하기 git log git log --stat # 커밋에 관련된 파일까지 함께 살펴보기 변경 사항 확인하기 git diff 작업 되돌리기 작업..

1. 문제 https://school.programmers.co.kr/learn/courses/30/lessons/136798 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr 2. 풀이 1. 1부터 주어진 수까지 반복문을 돌며 각 수의 약수 개수 count를 구한다. 2. 해당 수의 약수 개수 count 가 limit보다 클 경우(초과), 개수를 power로 변경한다. 3. count를 divisor_list에 넣고 총 합을 리턴한다. 3. 초기 작성 코드 (실패) def solution(number, limit, power): answer = [1] fo..

1. 문제 https://school.programmers.co.kr/learn/courses/30/lessons/12921 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr 2. 풀이 해당 수가 소수인지 아닌지를 판별하기 위해서는 해당 수의 제곱근까지만 확인해보면 된다는 점을 이용하여 코드를 작성하였다. 소수를 판별하는 is_prime 함수를 별도로 작성해서 True면 소수이니 answer list에 해당 수를 넣어주고, False면 소수가 아니니 다음 반복으로 넘어가는 식으로 코드를 작성했다. 해당 문제 상에서 answer이 원래 int형으로 주어지는데 ..

우선순위 큐(Priority Queue) 우선순위 큐는 가장 먼저 삽입된 데이터를 가장 먼저 추출하는 큐(Queue) 자료구조와는 달리, 높은 우선순위를 가진 데이터를 가장 먼저 처리하는 것을 특징으로 하는 자료구조이다. 데이터를 삽입 순서가 아닌 우선순위대로 처리하고 싶을 때 유용한 자료구조로, 스택과 큐와 비교한 내용은 아래와 같다. 자료구조 데이터 처리 기준 추출되는 데이터 스택(Stack) 삽입 순서 FILO 가장 먼저 삽입된 데이터가 마지막에 추출 큐(Queue) 삽입 순서 FIFO 가장 먼저 삽입된 데이터가 제일 먼저 추출 우선순위 큐(Priority Queue) 우선 순위 삽입 순서와 상관없이 우선순위 높은 데이터가 먼저 추출 우선순위 큐는 리스트나 힙을 통해 구현할 수 있으나 대부분의 경우..

Spleeter Spleeter는 Python 음원 분리 라이브러리로, 보컬 및 여러 악기로 이루어진 혼합 음원에서 보컬 및 각각의 악기를 분리할 수 있다. 2stems, 4stems, 5stems의 3가지 분리 방식을 제공하며 각 분리 방식별 사전 훈련된 모델을 제공한다. 2stems: Vocals (singing voice) / accompaniment separation 4stems: Vocals / drums / bass / other separation (※2stems, 4stems 모델은 musdb dataset에서 높은 성능을 보임) 5stems: Vocals / drums / bass / piano / other separation ※github link: https://github.com..

Flask Flask는 Python 기반의 마이크로 웹 프레임워크(Micro Web Framework) 중 하나로, 간단하게 웹 페이지 혹은 api 서버를 구현할 수 있다. Web Framework 웹 프레임워크(Web Framework) 또는 웹 애플리케이션 프레임워크(Web application Framework)는 동적인 웹 페이지나 웹 애플리케이션, 웹 서비스 개발 보조용으로 만들어지는 애플리케이션 프레임워크의 일종이다. 웹 페이지를 개발하는 과정에서 겪는 어려움을 줄이는 것이 주 목적으로 통상 데이터베이스 연동, 템플릿 형태의 표준, 세션 관리, 코드 재사용 등의 기능을 포함하고 있다. Flask vs Django Flask Django 복잡도 가벼움(장고의 1/10 수준) (micro fram..

1. GAN(Generative Adversarial Networks)이란? GAN은 Generative Adversarial Networks의 약자로 우리말로는 '적대적 생성 신경망'이라고 한다. GAN은 Generative AI의 한 종류로 사람이 쓴 것 같은 글, 사진 등 실제에 가까운 가짜 데이터들을 생성하는 모델이며, '적대적 생성' 이라는 이름에서 알 수 있듯 서로 다른 두 개의 네트워크를 적대적으로(Adversarial) 학습시키며 실제와 비슷한 데이터를 생성(Generative)한다. 2. 개념(Concept)과 구조(Architecture) GAN은 확률 분포를 학습하며 끊임없이 실제에 가까운 거짓 데이터를 생성하는 Generator(이하 G)와 데이터가 Generator에 의해 생성된 ..