ko | en | 기호/링크 |
정보 엔트로피 =Shannon 엔트로피? | entropy | H |
주변엔트로피 | marginal entropy | H(X) |
결합엔트로피 | joint entropy | H(X,Y) |
조건부엔트로피 | conditional entropy | H(X|Y) |
교차엔트로피 크로스엔트로피 | cross-entropy | H(X,Y) CHK |
transfer entropy | ||
미분엔트로피 | differential entropy | |
상대? 상대적? | relative entropy = KL-divergence = KLD | DKL(XǁY)=H(X,Y)-H(X) CHK |
엔트로피가 낮다 | 엔트로피가 높다 |
예측하기 쉬움 | 예측하기 어려움 |
확실한 정보 | 놀라운 정보 |
surprise | entropy |
minimum surprise | 0 |
I | information content |
H | entropy |
S = kB ln Ω
ΔS계 | |
ΔS주위 | |
ΔS우주 |
정의 방법 | 특성 | 한계1 | 한계2 |
열역학적 | 역사적으로 먼저 | 엔트로피의 절대값(절대적인 변화 값???) 정의 불가, 상대적 변화만 정의 가능 | 열역학적 평형 상태인 계에서만 정의 가능 |
통계역학적 | 엄밀하고 근본적 | 절댓값정의가능하단다. | 모든 계에 정의 가능 |