[DeepLearning] L1 정규화, L2 정규화

오늘은 정규화에 대해 알아보겠습니다.

정규화의 목적은 과적합을 막기 위함입니다.

또한, 일반화에 대한 성능을 높이기 위함입니다.

L1 정규화는 두 개의 벡터가 있다면, 두 개의 벡터를 빼고 절대값을 취한뒤 합한 값입니다.

v1 = (1,2) v2 = (-1,-2)

v1과 v2의 L1 정규화 결과는 |1-(-1)| + |2-(-2)| = 2 + 4 = 6 입니다.

L2 정규화는 두 개의 벡터의 원소를 빼고, 제곱을 한 후, 더한 결과에 루트를 씌운것입니다.

v2과 v2의 L2 정규화 결과는 (1-(-1))^2 + (2-(-2))^2 의 전 루트 입니다.

결과는 4 + 16 의 전체 루트기 때문에 루트 20입니다. 

두 벡터의 직선거리입니다.

이상입니다.