모델평가기법

모델 평가 지표

1.  회귀 모델 - 예측 대상이 연속형 수치 데이터인 경우
   1. MSE(Mean Squared Error)
   2. RMSE(Root Mean Squared Error)
   3. MAE(Mean Absolute Error)
   4. MAPE(Mean Absolute Percentage Error)
2. 분류 모델 - 예측 대상이 범주형 데이터인 경우

Confusion Matric

Precision(정확도)

Positive 라고 예측한 것 중 실제 정답이 Positive인 것의 비율  

 

Recall(재현률)

정답의 Positive 데이터 중 Positive로 예측된 데이터의 비율

 

Accurancy(정확도)

전체 중 실제 정답인 것의 확율

 

F1 Score

Precision 과 Recall의 조화 평균(harmonic mean).  최대 1의 값을 가질 수 있음.
▷ F1 Score는 정밀도와 재현율이 모두 높을수록 1에 가까운 값을 가짐

 

모델 평가

1. 모델의 평가에 가장 널리 사용되는 지표는 예측력
   - 회귀 모델의 평가에는 오차의 크기
   - 분류 모델의 평가에는 정확도 개념 사용
2. 예측력이 유일한 지표는 아니며, 지표들이 독립적이지 않으므로 입체적인 고려가 필요
   - 해석력 : 입력과 출력 간의 관계를 잘 설명하는가?
   - 효율성 : 유사한 성능을 보이는 경우, 적은 입력 변수로 모델을 구축하는가?
   - 안정성 : 새로운 데이터 세트에도 같은 성능의 결과를 나타내는가?