Entropy | Cross-Entropy
Entropy정보를 표현하는데 있어서 필요한 최소 (평균) 자원량 (→ 0 또는 1의 길이!)최소 자원량 ? 엄청 효율적으로 표현되어야함! 자주 사용되는 것은 자원 길이가 짧아야하고 거의 사용되지 않는 것은 길이가 길어야함!이를 그래프로 표현하면 -log그래프가 되는 것! $\sum_{i}^{}{P}_{i}*(-{log_{2}}^{P{i}})$ 기댓값이 최소 길이가 되어야하는것! 기댓값은 특정 확률 분포에서 평균적으로 기대할 수 있는 값! (모든 가능한 결과 값과 그 확률의 곱) 그럼 최소자원량이 최대가 될 때는? 확률이 Uniform할 때! (최악의 상황) Cross-Entropy두 확률 분포 사이의 차이를 측정하는 방법 $\sum_{i}P_{i}*{log_{2}}^{q_{i}}$q_i는? 내가 생..
1D1P
2024. 11. 25. 19:57