• 선형회귀: 선형 회귀란 현재 주어진 데이터를 가장 잘 설명할 수 있는 하나의 선을 찾는 알고리즘
  • 회귀: 회귀란 잔차(데이터의 실측치와 모델의 예측치의 차이)가 평균(0)으로 회귀하는 것
• 찾는 방법: 정규 방정식, 경사하강법 (ML에서는 주로 경사하강법을 통해 비용함수를 최소화하는 파라미터를 추정하는 방식을 사용)
• 회귀분석의 가정 4가지 (가정에 적합할수록 더 설명력이 높은 선을 그린다는 것)

  • 선형성: 입력변수(X)와 출력변수(Y)의 관계가 선형이어야 한다.

  • 정규성: ‘잔차의 분포’가 정규분포를 따른다.

    • 회귀선이 적절한 대표값이 되려면 데이터의 분포가 정규분포모양이어야 함.
      • 예를 들어, 회귀선이 데이터를 잘 설명한다(선에 데이터가 가까이 있다)고 한다면, 잔차는 대부분 0에 가까운 정규분포 모양일 띌 것이고 평균은 0에 가까운 값일 것임
      • 한쪽으로 치우친 형태라면, 평균이 데이터 전체를 설명하기 어려움

  • 등분산성: ‘잔차의 분산’이 일정해야 함.

    • 잔차의 분산이 일정하지 않다면, 모든 관측치들을 동등한 정도로 신뢰할 수 없기 때문에(이분산성)

      

  • 독립성: 잔차들은 서로 상관성이 없어야 함. 또한 독립변수들도 서로 상관이 없어야 함(다중공산성 문제)

    • 잔차 = 독립변수로 설명하지 못하는 잡음.

      • 만약 오차가 상관성을 띄다면, 중요한 독립변수가 빠져있을 수도 있음을 의미

    • 다중 공산성 = 독립변수들간에 높은 선형관계가 존재하는 것

      • 다중 공산성이 회귀 모델에 미치는 효과

        • 다중공산성이 있다면, 특정 변수의 회귀 계수 값이 크게 변동할 가능성이 높음
          • 회귀 계수는 상수로, 각 독립 변수가 어느정도의 영향을 끼치는 지를 의미
          • 다중 공산성이 있다면, a변수가 설명하는 것을 b변수도 설명하고 있으므로, 각 변수의 회귀 계수 값의 설명력은 불안정해짐
          • 따라서 회귀 계수의 표준 오차가 커지기 때문에 통계적 유의성에 영향을 줌

        → 독립변수의 회귀계수 추정에 영향을 주지만, 종속변수 에측에는 아무런 영향을 주지 않음

      • 다중 공산성은 ‘두’ 변수 간 상관계수만 측정해서는 정확히 알 수 없음

        • pairwise scatter plot이나 상관계수 매트릭스만 측정해선 안 됨
          • 만약 어떤 독립변수가 또 다른 독립변수들의 선형 결합 관계인 경우, 변수 쌍의 상관계수는 낮더라도 다중 공산성이 생길 수 있음
        • 따라서 분산팽창요인(VIF)을 측정해야 함(보통 10 이상은 있다고 판단, 5 이상은 있을 가능성이 있다고 판단)

      • 다중 공산성이 있다고 하더라도 해당 변수를 제거해야 할 지는 VIF 값만 보고 판단할 것이 아니라 도메인 지식을 활용하여 변수 간 관계를 확인해야 함

        • 예를 들어, 음주량과 흠연량이 암에 미치는 영향을 추정한다고 함.
        • 데이터들에서 음주량과 흡연량 간 상관성이 매우 높더라도 이 변수 중 하나를 제거하는 것은 옳지 않을 수 있음. → 음주량과 흡연량은 둘 다 암에 인과적 영향을 줄 가능성이 높기 때문

참고) https://brunch.co.kr/@gimmesilver/65