#noindex
기호는 보통 $I()$ 를 쓰는 듯

= tmp =
tmp from https://kyoko0825.tistory.com/entry/%EC%9D%B4%EB%A1%A0-Entropy
{
'''Self-information'''이란 [[확률,probability]] $p$ 를 가지는 [[사건,event]](혹은 [[메시지,message]]) $A$ 의 [[정보,information]]를 의미.

어떤 메시지 $m$ 에 대한 '''self-information'''의 정의:
 $I(m)=\log\left(\frac{1}{p(m)}\right)=-\log p(m)\textrm{  [bits]}$

정보량은 확률의 [[로그,log]]값인데, 확률은 0~1 사이의 값이므로 정보량을 양수로 표현하기 위해 마이너스 부호를 붙여서 양수로 만들어준다.

'''''엔트로피와의 비교'''''
'''Self-information'''이 하나의 메시지에 대한 자기 자신의 정보량을 의미한다면,
[[엔트로피,entropy]]란 다수의 메시지 $(M)$ 에 대한 각각의 정보량의 평균값을 의미.

평균값 계산 방식은 $M$ 의 사건들이 이산적인 경우와 연속적인 경우에 따라 각각 다음과 같이 정의됨.
Discrete
 $H(E)=E[I(M)]$
 $=\sum_{m\in M} p(m) I(m)$
 $=-\sum_{m\in M} p(m)\log p(m)$
Continuous
 $H(X)=E(x)$
 $=\int p(x)I(x)$
 $=-\int p(x)\log(p(x))$
이 때 어떤 메시지 공간 $M$ 에 대해 각 사건들이 [[고른분포,uniform_distribution]]가 되는 경우 [[엔트로피,entropy]] 값이 최대. 즉, 각 사건의 확률 $p(m)$ 이 모두 동일한 경우 엔트로피가 최대.
}

= 결합 자기정보 joint self-information =
[[결합자기정보,joint_self-information]]
{
$h(x,y)=-\log_2 p(X=x,Y=y)$

Up: [[결합,joint]] [[자기정보,self-information]]
}

----
TBW: Compare: [[상호정보,mutual_information]]와의 차이점과 비교 적을 것

Up: [[정보,information]]