Sub:
자기정보,self-information
상호정보,mutual_information
information_gain
information_processing - 처리,processing { rel. 과정,process? }
information_propagation 정보전파? - 신경망(NN)관련해 언급됨. information_propagation propagation
상호정보,mutual_information
information_gain
https://everything2.com/title/information gain - "IG(Y | X) = H(Y) - H(Y | X)"
rel. 엔트로피,entropy > 조건부엔트로피,conditional_entropy
상호정보,mutual_information와 동의어? (저기의 section 1 "Wikipedia 읽기" 참조.) chk
정보_이득
{ 에 따르면 (rechk later)
Information_gain_in_decision_trees
Information_gain_in_decision_trees
http://mlwiki.org/index.php/Information_Gain
information.gain
information_loss - ? 이건 별거 안나옴, del ok.rel. 엔트로피,entropy > 조건부엔트로피,conditional_entropy
상호정보,mutual_information와 동의어? (저기의 section 1 "Wikipedia 읽기" 참조.) chk
정보_이득
{ 에 따르면 (rechk later)
정보이론과 기계학습,machine_learning에서, information_gain은 KLD의 동의어 (see 상대엔트로피,relative_entropy .. curr at 엔트로피,entropy#s-1.10)
그러나
결정트리,decision_tree의 맥락에서 이 용어는 때때로 상호정보,mutual_information와 동의어로 사용되기도 한다고.
이 정보는 한 변수의 조건부분포,conditional_distribution(curr goto 확률분포,probability_distribution#s-8)에서 다른 한 변수의 단일변수 확률분포에 대한 KLD의 기대값,expected_value이다.
}그러나
결정트리,decision_tree의 맥락에서 이 용어는 때때로 상호정보,mutual_information와 동의어로 사용되기도 한다고.
이 정보는 한 변수의 조건부분포,conditional_distribution(curr goto 확률분포,probability_distribution#s-8)에서 다른 한 변수의 단일변수 확률분포에 대한 KLD의 기대값,expected_value이다.
Information_gain_in_decision_trees
Information_gain_in_decision_trees
http://mlwiki.org/index.php/Information_Gain
information.gain
information_processing - 처리,processing { rel. 과정,process? }
information_propagation 정보전파? - 신경망(NN)관련해 언급됨. information_propagation propagation
Contents
- 1. 단어/표현
- 2. 확률(P)과 정보/정보량(I)
- 3. Information content (self-information, surprisal, Shannon information 언급)
- 4. 자기정보 vs 상호정보
- 5. 자기정보 self-information
- 6. 상호정보 Mutual Information (MI)
- 7. 점상호정보 Pointwise Mutual Information (PMI)
- 8. 정보이론 information theory
- 9. Links ko
- 10. Links en
- 11. Keywords
- 12. History
- 13. Related:
- 14. Twins
- 15. semi-twins; tmp.
- 16. TODO
- 17. rel; mklink
1. 단어/표현 ¶
codeword
{
정보량 amount of information
: 어떤 정보에 의해 대상에 관한 불확실성(엔트로피)이 어느 정도 감소하는가를 나타내는 양. (src)
length of the output sequence. (Moser)
tmp{
정보량 amount of information
: 어떤 정보에 의해 대상에 관한 불확실성(엔트로피)이 어느 정도 감소하는가를 나타내는 양. (src)
평균 정보량 average information content
: 제한된 완전 사상계 중에서 어떤 사상이 발생했는가를 앎으로써 전해지는 정보 측도의 평균값. 수학적으로는 확률 p(x1), ···, p(xn)인 사상 집합 x1, ···, xn에 대한 엔트로피 H(x)는 개개의 사상 정보량 I(x1)의 기댓값(평균값)과 같다.
(완전 사상계란, 그것을 구성하는 사상이 서로 배반이며, 모든 사상의 합집합이 전 사상과 일치하는 사상계를 말한다. - 표본공간의 분할,partition?)
(src)
}
: 제한된 완전 사상계 중에서 어떤 사상이 발생했는가를 앎으로써 전해지는 정보 측도의 평균값. 수학적으로는 확률 p(x1), ···, p(xn)인 사상 집합 x1, ···, xn에 대한 엔트로피 H(x)는 개개의 사상 정보량 I(x1)의 기댓값(평균값)과 같다.
(완전 사상계란, 그것을 구성하는 사상이 서로 배반이며, 모든 사상의 합집합이 전 사상과 일치하는 사상계를 말한다. - 표본공간의 분할,partition?)
(src)
}
self-information = information content = surprisal = Shannon information
see below.
pointwise mutual information (PMI)
점 상호 정보, 점별 상호 정보량 등.
see below.
점 상호 정보, 점별 상호 정보량 등.
2. 확률(P)과 정보/정보량(I) ¶
tmp from http://www.ktword.co.kr/abbr_view.php?nav=2&choice=map&id=781&m_temp1=3660
{
P(E)=1 → I(E)=0
결과를 확신할(P=1) 수 있으면, 정보는 없음
{
P(E)=1 → I(E)=0
결과를 확신할(P=1) 수 있으면, 정보는 없음
P(E1) < P(E2) → I(E1) > I(E2)
사건의 발생 확률이 낮을수록, 그 사건이 일어날 때 더 많은 정보가 생김
사건의 발생 확률이 낮을수록, 그 사건이 일어날 때 더 많은 정보가 생김
I(E1E2) = I(E1) + I(E2)
결합사건 E1, E2가 독립이면, 각 정보량을 더하면 됨
결합사건 E1, E2가 독립이면, 각 정보량을 더하면 됨
P(E)=1/2 → I(E)=1 (bit)
1비트의 정보량은 2 사건이 동일 확률일 때의 정보량과 같음
1비트의 정보량은 2 사건이 동일 확률일 때의 정보량과 같음
평균 정보량 = 엔트로피,entropy
}
3. Information content (self-information, surprisal, Shannon information 언급) ¶
Information_content 요약 at 2021-03-24
{
Shannon의 self-information 정의는 다음 공리에 기초함
Formally, given a 확률변수,random_variable
with 확률질량함수,probability_mass_function,PMF
the self-information of measuring as 결과,outcome is defined as
The Shannon 엔트로피,entropy of the random variable above is defined as
by definition equal to the expected information content of measurement of
{
Shannon의 self-information 정의는 다음 공리에 기초함
- 100% 확실한 것은 하나도 안 놀랍고(perfectly unsurprising) 정보가 없다
- 확률이 낮을수록 놀랍고(surprising) 정보가 많다
- 두 독립적인 사건,event들이 각각 따로 측정되면, 정보의 총량은 각 사건의 self-information의 합
with 확률질량함수,probability_mass_function,PMF
the self-information of measuring as 결과,outcome is defined as
rare event | more surprising | yield more information content |
- 100% 일어나는 사건 : self-information이 : 전혀 놀랍지 않음 : 정보가 없음
- 0% 일어나는 사건 : self-information이 : 무한히 놀라움
동전던지기, fair coin toss, 베르누이_시행,Bernoulli_trial으로
(shannon)
주사위던지기, fair die roll
: discrete uniform random variable, with PMF
4가 나올 확률은
그 information content는
(이하 생략)
}
: discrete uniform random variable, with PMF
}
8.2. Wikipedia: 정보이론 information theory ¶
Information_theory 읽고 요약 at 2021-04-01
{
역사: 1920년대 Harry Nyquist and Ralph Hartley, 1940년대 Claude Shannon의 업적에 의해 수립.
정보의 핵심 측도,measure는 엔트로피,entropy. 이것은 불확실성,uncertainty, 확률변수,random_variable 값, 확률과정,random_process의 결과,outcome에 관련.
{
역사: 1920년대 Harry Nyquist and Ralph Hartley, 1940년대 Claude Shannon의 업적에 의해 수립.
정보의 핵심 측도,measure는 엔트로피,entropy. 이것은 불확실성,uncertainty, 확률변수,random_variable 값, 확률과정,random_process의 결과,outcome에 관련.
Historical background
Certain Factors Affecting Telegraph Speed (Nyquist 1924)
where
where
: speed of transmission of intelligence
: number of different voltage levels to choose from at each time step
: constant
Transmission of Information (Hartley 1928): number of different voltage levels to choose from at each time step
: constant
: 정보량
: 가능한 symbol의 수
: 전송에서 symbol의 수
Entropy of an information source: 가능한 symbol의 수
: 전송에서 symbol의 수
Shannon Entropy
where
base가 2이므로 단위가 bits (per symbol)임.
: probability of occurrence of the i-th possible value of the source symbol;
확률질량함수,probability_mass_function,PMFbase가 2이므로 단위가 bits (per symbol)임.
}
11. Keywords ¶
perplexity (w) 곤혹도, 혼잡도, 퍼플렉서티 perplexity
해밍_코드,Hamming_code
교차엔트로피,cross_entropy H와의 관계: perplexity
http://foldoc.org/perplexity - 여기선 기하평균,geometric_mean으로 설명
https://developers.google.com/machine-learning/glossary?hl=ko#perplexity - 머신러닝용어집
...
perplexity
해밍_거리,Hamming_distancehttp://foldoc.org/perplexity - 여기선 기하평균,geometric_mean으로 설명
https://developers.google.com/machine-learning/glossary?hl=ko#perplexity - 머신러닝용어집
...
perplexity
해밍_코드,Hamming_code
엔트로피,entropy
상호정보,mutual_information
조건부엔트로피,conditional_entropy
조건부상호정보,conditional_mutual_information의 연쇄법칙에 대해
연쇄법칙,chain_rule 참조.
상호정보,mutual_information
조건부엔트로피,conditional_entropy
조건부상호정보,conditional_mutual_information의 연쇄법칙에 대해
연쇄법칙,chain_rule 참조.
12. History ¶
Shannon의 Paper A Mathematical Theory of Communication: http://people.math.harvard.edu/~ctm/home/text/others/shannon/entropy/entropy.pdf
13. Related: ¶
자료,data (정보는 추상적, data는 물리적/구체적)
신호,signal (data의 전자기적인 표현)
메시지,message
코드,code
통신,communication
채널,channel
엔트로피,entropy
이산수학,discrete_math
전산학,compsci
정보및부호화이론,information_and_coding_theory
정보보안,infosec
{
암호화encryption 복호화decryption
신호,signal (data의 전자기적인 표현)
메시지,message
코드,code
통신,communication
채널,channel
엔트로피,entropy
이산수학,discrete_math
전산학,compsci
정보및부호화이론,information_and_coding_theory
정보보안,infosec
{
암호화encryption 복호화decryption
Compare: encoding/decoding (코드,code#s-2)
해시함수,hash_function}
물리적으로, 정보는 에너지,energy, 열,heat과 관련 - 란다우어_원리 Landauer_principle { Landauer's principle 란다우어의 원리 Landauer principle }
14. Twins ¶
https://encyclopediaofmath.org/wiki/Information_theory
https://encyclopediaofmath.org/wiki/Information,_transmission_of
https://encyclopediaofmath.org/wiki/Information,_amount_of
https://everything2.com/title/information
https://everything2.com/title/information theory
http://www.linfo.org/information.html
https://encyclopediaofmath.org/wiki/Information,_transmission_of
https://encyclopediaofmath.org/wiki/Information,_amount_of
https://everything2.com/title/information
https://everything2.com/title/information theory
http://www.linfo.org/information.html
16. TODO ¶
self-information = surprisal
conditional_entropy = equivocation // 모호도,equivocation
KLD = information_gain = information_divergence = relative_entropy
mutual_information = transinformation
}
conditional_entropy = equivocation // 모호도,equivocation
KLD = information_gain = information_divergence = relative_entropy
mutual_information = transinformation
}