기호는 보통  "$I()$")
를 쓰는 듯
tmp ¶
tmp from https://kyoko0825.tistory.com/entry/이론-Entropy
{
Self-information이란 확률,probability
를 가지는 사건,event(혹은 메시지,message) 
의 정보,information를 의미.
{
Self-information이란 확률,probability
어떤 메시지 
에 대한 self-information의 정의:
![$I(m)=\log\left(\frac{1}{p(m)}\right)=-\log p(m)\textrm{ [bits]}$](/123/cgi-bin/mimetex.cgi?\Large I(m)=\log\left(\frac{1}{p(m)}\right)=-\log p(m)\textrm{ [bits]} "$I(m)=\log\left(\frac{1}{p(m)}\right)=-\log p(m)\textrm{ [bits]}$")
정보량은 확률의 로그,log값인데, 확률은 0~1 사이의 값이므로 정보량을 양수로 표현하기 위해 마이너스 부호를 붙여서 양수로 만들어준다.
엔트로피와의 비교
Self-information이 하나의 메시지에 대한 자기 자신의 정보량을 의미한다면,
엔트로피,entropy란 다수의 메시지 "$(M)$")
에 대한 각각의 정보량의 평균값을 의미.
Self-information이 하나의 메시지에 대한 자기 자신의 정보량을 의미한다면,
엔트로피,entropy란 다수의 메시지
평균값 계산 방식은 
의 사건들이 이산적인 경우와 연속적인 경우에 따라 각각 다음과 같이 정의됨.
Discrete
![$H(E)=E[I(M)]$](/123/cgi-bin/mimetex.cgi?\Large H(E)=E[I(M)] "$H(E)=E[I(M)]$")
 I(m) "$=\sum_{m\in M} p(m) I(m)$")
\log p(m) "$=-\sum_{m\in M} p(m)\log p(m)$")
Continuous
=E(x) "$H(X)=E(x)$")
I(x) "$=\int p(x)I(x)$")
\log(p(x)) "$=-\int p(x)\log(p(x))$")
이 때 어떤 메시지 공간 에 대해 각 사건들이 고른분포,uniform_distribution가 되는 경우 엔트로피,entropy 값이 최대. 즉, 각 사건의 확률  "$p(m)$")
이 모두 동일한 경우 엔트로피가 최대.
}
Discrete
}