Entropy | Cross-Entropy

Entropy

정보를 표현하는데 있어서 필요한 최소 (평균) 자원량 (→ 0 또는 1의 길이!)

최소 자원량 ? 엄청 효율적으로 표현되어야함! 자주 사용되는 것은 자원 길이가 짧아야하고 거의 사용되지 않는 것은 길이가 길어야함!

이를 그래프로 표현하면 -log그래프가 되는 것!

 

 $\sum_{i}^{}{P}_{i}*(-{log_{2}}^{P{i}})$

 

기댓값이 최소 길이가 되어야하는것!

기댓값은 특정 확률 분포에서 평균적으로 기대할 수 있는 값! (모든 가능한 결과 값과 그 확률의 곱)

 

그럼 최소자원량이 최대가 될 때는? 확률이 Uniform할 때! (최악의 상황)

 

 

Cross-Entropy

두 확률 분포 사이의 차이를 측정하는 방법 

$\sum_{i}P_{i}*{log_{2}}^{q_{i}}$

q_i는? 내가 생각한 "확률 분포" → 실제 확률과 내가 생각한 확률 분포의 차이가 어느정도인지를 측정하는 것!

 

KL-Divergence

: Cross Entropy - Entropy (이렇게 빼야 양수가 됨! 왜냐면 Entropy는 가장 효율적인 값이니까!)

 

 

Mutual Information

$\sum\sum p(x,y)log\frac{p(x,y)}{p(x)p(y)}$

 

p(x,y) 실제로는 독립이 아니지만 독립이라면 p(x)p(y) 이게 성립됨.

 

→ 원래는 p(x,y)이건데, 독립이라고 생각한다면 $log\frac{p(x,y)}{p(x)p(y)$

 

독립이 아닐 때와 독립일 때의 차이?

 

+ $p(x_{i}|y_{i}) = p(x_{i})$ *독립*

→ y가 주어졌지만? x만 있어도 되는 경우!

 

$\frac{p(x_{i},y_{i})}{ p(y_{i}) }  = p(x_{i}) $ 

$p(x_{i},y_{i})= p(x_{i})p(y_{i})$