평가 지표는 크게 분류를 위한 지표와 회귀를 위한 지표로 나눌 수 있음.

분류를 위한 지표

정확도(accuracy): 모델의 예측이 얼마나 정확한지를 의미

• $\frac{올바르게 예측한 샘플 개수}{전체샘플개수}$
• 특징

  • 라벨 불균형이 있는 데이터에선 사용하면 안 됨

    ex) 0과 1의 비율이 9:1인 데이터가 있다고 했을 때, 모두 0으로 예측하면 정확도가 90%가 나올 것임 → 잘못된 판단

오차 행렬(confusion matrix): 모델이 예측을 하면서 얼마나 헷갈리고 있는지를 보여주는 지표

• 주로 이진 분류에서 많이 사용함
• 위 값들을 바탕으로 모델이 어떤 오류를 발생시켰는지를 살펴볼 수 있음
  • ex) 정확도(Accuracy) = $\frac{TP+TN}{TP+TN+FP+FN}$

정밀도(precision)와 재현율(recall)

: 긍정 데이터 예측 성능에 초점을 맞춘 평가 지표

• 정밀도: 예측을 긍정으로 한 데이터 중 실제로 긍정인 비율

  (검출된 결과가 얼마나 정확한지 즉, 검출 결과들 중 실체 물체가 얼마나 포함되어 있는지)

  (’실제론 틀린데 맞다고 예측되는 것(위양성)’의 위험성이 높아 이를 최소화 해야 하는 경우)

  (ex. 채용 과정에서 실력있는 사람들이 떨어지는 것은 아쉽지만, 혹시나 실력 없는 사람이 입사하는 것을 방지하는 것이 더 중요함)

  • $\frac{TP}{FP+TP}$

• 재현율: 실제로 긍정인 데이터 중 긍정으로 예측한 비율 (TPR: True Positive Rate)

  (대상 물체들을 빠뜨리지 않고 얼마나 잘 잡아내는지)

  (’실제론 맞는데 틀리다고 예측되는 것(위음성)’의 위험성이 높아 이를 최소화 해야 하는 경우)

  (ex. 119 전화 대응: 장난전화의 의심이 커도 혹시 실제 상황일 것을 대비하여 출동을 함)

  • $\frac{TP}{FN+TP}$
  • 단점: 내가 1분 뒤에 죽을 것인가를 예측하는 문제가 있을 때, 만약 모델이 모두 ‘죽을 것이다'로 예측한다면 죽고나서 모델의 recall은 1이 나올 것임. → 따라서 precision도 적절히 고려해야 함

• 정밀도와 재현율은 trade-off 관계를 갖는다.

  • 정밀도는 FP를, 재현율은 FN를 낮춤으로써 성능을 높인다

• ex)

  • 스팸 문자 판별 Task에선 precision이 쓰일 수 있음.

  • 암인지 아닌지를 구분하는 Task에선 recall이 쓰임

    → 실제로 암인데 암이 아니라고 예측하면 큰일나기 때문

F1-Score

: 정밀도와 재현율을 한 쪽에 치우치지 않고 둘 다 균형을 이루는 것(둘 다 고려하는 것)