벡터의 norm이란?

• 벡터의 norm은 원점에서부터의 거리를 의미

norm 종류

• L1 norm : 각 성분의 변화량의 절대값을 모두 더하는 것 (맨하튼 거리)

  

  

• L2 norm : 피타고리스 정리를 이용해 유클리드 거리를 계산한 것

  

  

Regularization이란

• 모델의 파라미터 중 일부가 학습과정 중 과도하게 커져버리면, 몇몇 개의 데이터에 극단적으로 의존하게 되고, 일반화 성능이 감소됨.
• 따라서 Regularization이란 규제를 주어 모델의 오버피팅을 줄이고, 조금 더 general하게 만드는 것

L1 Regularization

• 비용함수에 weight의 절대값을 더해주는 것
• L1 Regularization 을 사용하는 Regression model 을 Least Absolute Shrinkage and Selection Operater(Lasso) Regression 이라고 부름

L2 Regularization

• 비용함수에 제곱한 가중치 값을 더해주는 것

• L2 Regularization 을 사용하는 Regression model 을 Ridge Regression 이라고 부름

  

L1 vs L2 Regularization

• L1은 가중치 업데이트 시, 가중치의 크기에 상관없이 상수값을 빼면서 진행됨. 따라서 작은 가중치들은 거의 0으로 수렴되어, 의미 있는 가중치들만 남게 됨 (가중치 $W$에 대해 편미분하면, 람다만 남음)
  • 따라서 의미 있는 값만 끄집어내고 싶은 sparse model의 경우 L1이 효과적임(변수 선택의 기능)
  • 그러나 미분불가능한 점이 있기 때문에 Gradient-base learning에선 주의가 필요
• L2는 가중치 업데이트 시 가중치의 크기가 직접적인 영향을 미침 (가중치 $W$에 대해 편미분하면, 가중치가 남음)
  • 따라서 L1보다 가중치 규제에 좀 더 효과적임