[DeepLearning] 과대 적합과 과소 적합

머신 러닝을 좀 사용해신분들이 겪은 문제중 하나가 바로 과대 적합, 과소 적합입니다.

과대 적합은 모델이 훈련 데이터와 너무 잘맞는것입니다.

이는 겉으로 보기에는 훈련 데이터에 너무 잘맞습니다.

너무 잘맞는게 좋다고 할 수 있지만, 훈련 데이터에만 잘 맞춰져있기 때문에, 테스트 데이터나 다른 변수가 생겨버리면 확률이 낮아집니다.

과대 적합에 의해 발생하는 오차는 분산이라고 부릅니다.

과대 적합 해결법은 아래와 같습니다.

1. 훈련 데이터가 많아야 됩니다.
2. 모델의 복잡도를 줄입니다.

과소 적합은 과대 적합과 반대로 모델이 너무 단순해서 데이터의 구조를 학습하지 못하는 것입니다.

과소 적합에 의해 발생하는 오차는 편향이라고 부릅니다.

과소 적합 해결법은 아래와 같습니다.

1. 모델의 복잡도를 늘립니다.
2. 모델의 제약을 줄입니다.
3. 학습을 충분히 시킵니다.

과대 적합과 과소 적합 중에 고르라면 과대 적합을 고를 것입니다.

과대 적합은 그래도 훈련 데이터에서 만큼은 성능이 좋기 때문입니다.

테스트 데이터에 대해서 높은 성능을 내는 것을 일반화라고 합니다.

궁극적인 목표는 모델을 일반화 시켜야 됩니다.

과소 적합과 과대 적합을 조절하는 것이 중요합니다.

보통 분산을 줄이면 편향이 늘어나고, 편향을 늘리면 분산이 늘어나게 됩니다.

이를 편향-분산 트레이드 오프라고합니다. 둘 간의 완급 조절을 잘 해야지 일반화를 더 잘 할 수 있습니다.