Lasso (L1) Regularization | Ridge (L2) Regularization
정규화란?모델의 가중치에 제약을 주어 과적합을 방지하고 모델을 단순화하는 기법입니다. L1, L2 정규화를 살펴보기 전에 벡터의 norm먼저 살펴봅시다. 벡터의 norm벡터의 "크기"를 측정하는 방법으로 쉽게 말하면 원점에서 해당 점까지의 거리를 계산하는 방법입니다.("크기"라고 했으니 0 포함 양수 스칼라여야함.) Lasso(L1) 정규화와 Ridge(L2) 정규화에서는 각각 L1-norm과 L2-norm을 활용하고 아래와 같이 계산할 수 있습니다. * L2-norm (벡터의 물리적인 길이) (예시) $a = \begin{bmatrix}1 \\2\\3\end{bmatrix}$ ${||a||_{2}}= \sqrt{{a}^{T}a} = \sqrt{{1}^{2}+{2}^{2}+{3}^{2}} = (..
1D1P
2024. 11. 19. 21:47