노트와 노트

※ 이 글은 책 공부한 내용&개인적으로 공부한 내용을 정리한 글입니다! 오버피팅(Overfitting)과 언더피팅(Underfitting) 오버피팅: 모델이 학습 데이터셋에 대해 과하게 학습된 상태. 노이즈(noise, 잡음)를 지나치게 반영하여 학습 데이터 외의 다른 데이터에 대해선 예측 성능이 과도하게 떨어짐. 오버피팅이 발생했을 때 일반적인 해결책은 아래와 같다. 1. 모델의 복잡도 낮추기: 모델의 layer 개수를 낮춰 학습 데이터에 비해 과하게 학습되지 않도록 조절 2. Dropout: 학습 시 일부 뉴런의 연결을 끊기 3. L1/L2 정규화 L1 정규화 - 예측 영향력이 작은 피처를 0으로 만들어 예측 시 해당 피처가 선택되지 않도록 하는 것 L2 정규화 - 상대적으로 큰 가중치의 값을 작게 ..