• Class_2021_1
        [[엔트로피,entropy]] : 무질서도
• 결합확률분포,joint_probability_distribution
       결합확률분포의 [[엔트로피,entropy]]: [[정보및부호화이론,information_and_coding_theory]]의 HW #4 요약 참조.
• 디퍼렌셜예제가있는페이지
       [[엔트로피,entropy]]
• 로마자,Latin_alphabet
        [[엔트로피,entropy]]
• 물리학,physics
       ||상태함수 ||state fn ||경로/과정에 무관, 계의 ''상태''에만 의존 ||높이 ||[[내부에너지,internal_energy]](U) [[엔탈피,enthalpy]](H) [[엔트로피,entropy]](S) [[자유에너지,free_energy]](G) ||
• 보존,conservation
       [[엔트로피,entropy]]
• 복잡도,complexity
       만족스럽게도, Kolmogorov complexity $K$ 는 근사적으로 [[엔트로피,entropy|Shannon entropy]] $H$ 와 같다 if the sequence is drawn at random from a distribution that has entropy $H.$ 그래서 [[정보,information]] 이론과 매우 밀접하다.
• 볼츠만_상수,Boltzmann_constant
       [[엔트로피,entropy]] S = k ln(Ω)
• 상호정보,mutual_information
       conditional and joint [[엔트로피,entropy]]와의 관계
• 엔트로피,entropy
       [[엔트로피,entropy]]
       [[엔트로피,entropy]] $H$ 는 이렇게 정의된다.
• 여유도,redundancy
       TOMERGE; WAS AT [[엔트로피,entropy]]
• 연쇄법칙,chain_rule
       엔트로피의 연쇄법칙이 있음. 아마도 [[조건부엔트로피,conditional_entropy]]의? (related pages: [[조건부,conditional]] [[엔트로피,entropy]])
       [[엔트로피,entropy]],
       확률변수 더미(collection)의 [[엔트로피,entropy]]는, [[조건부엔트로피,conditional_entropy]]의 합과 같다.
• 열역학,thermodynamics
        [[엔트로피,entropy]]가 증가하는 현상만 일어나며 감소하지 않는다.
       [[엔트로피,entropy]] S
        [[엔트로피,entropy]]
• 온도,temperature
       [[엔트로피,entropy]]=0?
• 자기정보,self-information
       [[엔트로피,entropy]]란 다수의 메시지 $(M)$ 에 대한 각각의 정보량의 평균값을 의미.
       이 때 어떤 메시지 공간 $M$ 에 대해 각 사건들이 [[고른분포,uniform_distribution]]가 되는 경우 [[엔트로피,entropy]] 값이 최대. 즉, 각 사건의 확률 $p(m)$ 이 모두 동일한 경우 엔트로피가 최대.
• 자유에너지,free_energy
       S는 [[엔트로피,entropy]] 참조.
       [[엔트로피,entropy]] 한차원 위의 개념임.
• 정보,information
        rel. [[엔트로피,entropy]] > [[조건부엔트로피,conditional_entropy]]
        정보이론과 [[기계학습,machine_learning]]에서, '''information_gain'''은 KLD의 동의어 (see [[상대엔트로피,relative_entropy]] .. curr at [[엔트로피,entropy#s-1.10]])
       평균 정보량 = [[엔트로피,entropy]]
       The Shannon [[엔트로피,entropy]] of the random variable $X$ above is defined as
       정보의 핵심 [[측도,measure]]는 [[엔트로피,entropy]]. 이것은 [[불확실성,uncertainty]], [[확률변수,random_variable]] 값, [[확률과정,random_process]]의 [[결과,outcome]]에 관련.
       [[엔트로피,entropy]]
       [[엔트로피,entropy]]
• 정보및부호화이론,information_and_coding_theory
       [[엔트로피,entropy]]
       가우시안 채널이란, noise가 가우스_분포Gaussian_distribution(⇒ [[정규분포,normal_distribution]])를 갖는 [[채널,channel]]. 채널출력이 고정된 [[분산,variance]]을 가지면, 그것의 [[엔트로피,entropy]]는 가우스분포를 가질 때 최대화된다는 것을 안다.
• 조건부,conditional
        [[조건부엔트로피,conditional_entropy]] - curr goto [[엔트로피,entropy#s-1.7]]
• 통계역학,statistical_mechanics
       [[엔트로피,entropy]]
       //KW: [[열,heat]] 통계물리 [[엔트로피,entropy]] [[볼츠만_분포,Boltzmann_distribution]] [[몬테카를로_방법,Monte_Carlo_method]] [[무작위성,randomness]] [[시뮬레이션,simulation]]
        2장 [[엔트로피,entropy]]와 [[온도,temperature]]
       [[확률,probability]] and [[엔트로피,entropy]]
• 통신,communication
       ''H,,b,,는 [[엔트로피,entropy#s-1.12]](binary entropy function) 참조.''
• 퍼텐셜,potential
       [[엔트로피,entropy]]
• 평형,equilibrium
       mklink: [[엔탈피,enthalpy]] [[엔트로피,entropy]] [[열,heat]]
• 화학,chemistry
       ||S ||[[엔트로피,entropy]] ||
       [[엔트로피,entropy]]
• 확률변수,random_variable
       (정보이론)[[엔트로피,entropy]] 관련

You can also click here to search title.