노트와 노트

1. 데이터 조작 1-1. 데이터 정제(Data Cleansing) 데이터 정제란 데이터셋에 존재하는 결측값 및 이상값을 처리하여 데이터의 신뢰도를 높이는 작업이다. 낮은 신뢰도를 가진 데이터로는 높은 성능을 기대하기 어렵다. 모델이 결측값, 이상값을 학습하며 제대로 된 예측 결과를 도출할 확률이 낮아지기 때문이다. 따라서 데이터 정제를 통해 이러한 데이터들을 적절히 처리하여 데이터의 신뢰도를 높여야 한다. 데이터 정제 절차 1) 데이터의 오류 원인 분석 원인 설명 오류 처리 방법 결측값(Missing Value) 데이터가 입력되지않고 누락된 값 -경향값으로 대체(평균값, 중앙값, 최빈값 등) -확률 분포 기반 랜덤값으로 대체 잡음(Noise) 실제는 입력되지 않았지만 입력되었다고 잘못 판단한 값 -일정..