기호는 보통 를 쓰는 듯
tmp ¶
tmp from https://kyoko0825.tistory.com/entry/이론-Entropy
{
Self-information이란 확률,probability 를 가지는 사건,event(혹은 메시지,message) 의 정보,information를 의미.
{
Self-information이란 확률,probability 를 가지는 사건,event(혹은 메시지,message) 의 정보,information를 의미.
어떤 메시지 에 대한 self-information의 정의:
정보량은 확률의 로그,log값인데, 확률은 0~1 사이의 값이므로 정보량을 양수로 표현하기 위해 마이너스 부호를 붙여서 양수로 만들어준다.
엔트로피와의 비교
Self-information이 하나의 메시지에 대한 자기 자신의 정보량을 의미한다면,
엔트로피,entropy란 다수의 메시지 에 대한 각각의 정보량의 평균값을 의미.
Self-information이 하나의 메시지에 대한 자기 자신의 정보량을 의미한다면,
엔트로피,entropy란 다수의 메시지 에 대한 각각의 정보량의 평균값을 의미.
평균값 계산 방식은 의 사건들이 이산적인 경우와 연속적인 경우에 따라 각각 다음과 같이 정의됨.
Discrete
Continuous
이 때 어떤 메시지 공간 에 대해 각 사건들이 고른분포,uniform_distribution가 되는 경우 엔트로피,entropy 값이 최대. 즉, 각 사건의 확률 이 모두 동일한 경우 엔트로피가 최대.
}
Discrete
}