Decision Tree: 정보획득량이 최대가 되는, 예/아니오로 대답할 수 있는 일련의 질문들을 통해 데이터를 분기해나가는 지도학습 모델

• 정보획득량: 부모노드의 엔트로피(불순도)와 자식노드들의 엔트로피(불순도)의 가중 평균의 차이

  • 분리된 데이터의 엔트로피가 낮을수록 정보 획득량은 증가함

  • 따라서 정보획득량이 큰 순서대로 질문을 배치

    (최적의 특성을 찾고 → 해당 특성으로 잘 나눌 수 있는 최적의 임계치를 찾는 방식)

• 장점

  • 정규화나 표준화 같은 데이터 전처리가 거의 필요하지 않음
    • 각 특성이 개별적으로 처리되어 데이터를 분할하는 데 데이터 스케일의 영향을 받지 않으므로
  • 과정에 대한 설명이 가능

• 단점

  • 학습 데이터에 오버피팅되는 경향이 있음

    → 사전(트리 생성을 일찍 중단)/사후 가지치기 전략을 사용할 수 있음

• ++

  • 분류는 리프 노드에 속한 특정 클래스의 레이블을 결정하는 반면,
  • 회귀는 리프 노드에 속하는 데이터들의 평균 값을 이용해 예측 값을 계산