로지스틱 회귀: (일반적으로) 이진 분류 문제를 풀기 위한 알고리즘

• Label이 3개 이상일 경우 다항 로지스틱 회귀(ex. 개, 고양이, 사람 중 무엇에 속하는가?)라고 부름 - -
  • sigmoid 대신 softmax
  • binary cross entropy loss 대신 cross entropy loss

나오게 된 이유: Y가 범주형(categorical) 변수일 때는 다중선형회귀 모델을 그대로 적용할 수 없기 때문에 로지스틱 모델이 제안됨.

방법: 선형 회귀($y=wx+b$) 식에 sigmoid 함수를 적용하고 binary cross entropy loss를 계산하여 해당 데이터를 가장 잘 분류할 수 있는 파라미터를 경사하강법을 이용해 찾아나감

• Sigmoid를 적용하면, 값을 0~1 사이의 값으로 추출(H(x))할 수 있음

  (일직선인 선형회귀를 S자 형태로 바꾸는 과정이라고 생각하면 됨)

  

• 여기에 binary cross entropy loss를 계산하여 파라미터를 수렴시킴

  • 비용함수를 해석해보면,
    • $y$=1일 경우, proba가 1에 가까울수록 비용은 0에 가까워지고, 0에 가까울수록 비용은 기하급수적으로 늘어남
    • $y$=0일 경우, proba이 0에 가까울수록 비용은 0에 가까워지고, 1에 가까울수록 비용은 기하급수적으로 늘어남