마르코프_연쇄,Markov_chain

예를 들면, 영어의 t 다음에 h는 빈번하게 출현, q 다음에는 거의 항상 u가 출현

필요한 사전 지식: 조건부확률,conditional_probability

Applications of Markov Chains (2003)
https://news.ycombinator.com/item?id=23639863

설명은 https://ratsgo.github.io/machine learning/2017/03/18/HMMs/ 맨 앞 문단에 있음. (HMM은 은닉마코프모델)
상태,state가 전이,transition하는 것을 그 전의 긴 history가 필요없이 바로 직전 상태에서 추정할 수 있다는 것.


확률,probability#s-8 확률및랜덤프로세스


(from 이광근 대표세 p233)

예제는 인구 유입/유출, 웹페이지간의 연결관계

MC는 점화식,recurrence_relation들의 세트로? 연립으로? ... 나타낼 수 있다 - Google:방문점화식 Google:연쇄반응식 (chk: is this a 선형연립방정식 = 연립일차방정식,system_of_linear_equations? 다만 그 중에서 확률행렬,stochastic_matrix처럼 ...의 합,sum이 1인?)
...
마르코프 연쇄반응식에서 변수 앞의 상수가 0인 경우가 많은데, 마르코프 연쇄가 항상 수렴,convergence할 충분조건,sufficient_condition은 이 상수들이 모두 0이 아닌 양수면 된다 ( Google:페론-프로베니우스 정리 Google:Perron-Frobenius ). 0을 아주 작은 양수로 바꾸고 점화식을 마사지한 후(각 변수마다 앞에 붙은 상수들의 합이 어쨌든 1이 되도록) 체인의 수렴값을 계산하면 된다.

[edit]

from 지과사전 tocleanup

마르코프 연쇄는 $X_1,X_2,X_3,\cdots$ 같이 연속적으로 진행되는 확률변수,random_variable이며, 이 변수들의 범위 즉 그 변수들이 가질 수 있는 조합,combination을 상태공간,state_space이라 하고, 이것은 $n$ 번 째 단계에서 Markov 절차(process??)에 의한 변수 $X_n$ 의 값.

//마르코프_성질,Markov_property이란?
만약 어떤 과거 상태의 조건부확률분포 { curr. 조건부확률,conditional_probability 확률분포,probability_distribution } $X_{n+1}$ 이 $X_n$ 만의 함수라면,
$P(X_{n+1}=x|X_0,X_1,\cdots,X_n)=P(X_{n+1}=x|X_n)$
이라 둘 수 있다. 여기서 $x$ 는 마르코프 절차에 있어 임의의 순간.
이런 성질을 Markov_property라 함.

[edit]

Markov Property

Markov_property or Markovian property?
마르코프_성질,Markov_property - w
속성? 성질?
If you know the present, the future is independent of the past
직관과는 좀 다른 것 같은데? 이건 법칙,law이 아닌 일종의 가정,assumption 혹은 성질,property이니까.
현재는 과거를 완전히 반영한 결정체라는 뜻?
P(future|present,past) = P(future|present)
이 property을 가진 확률과정,stochastic_process은 훨씬 분석하기 쉽다.



[edit]

이산 시간 마르코프 연쇄 Discrete-time Markov Chain (DTMC)

discrete-time_Markov_chain
discrete-time Markov chain

확률 과정
$\{X_n:n\ge 1\}$
은, DTMC with state space $S$ if
  1. $\forall n,\,X_n\in S$
  2. $\forall i,j\in S\text{ and }n\ge 0,$
    $P(\underbrace{X_{n+1}=j}_{\rm future}|\underbrace{X_n=i}_{\rm present},\underbrace{X_{n-1},\cdots,X_0}_{\rm past})=P(X_{n+1}=j|X_n=i)$

Time-homogeneous DTMC
$P(X_{n+1}=j|X_n=i)$ 가 $n$ 에 독립
$P(X_{n+1}=j|X_n=i)=p_{ij}$


[edit]

연속 시간 마르코프 연쇄

[edit]

마르코프 연쇄의 정상 분포

[https]수학백과: 마르코프 연쇄의 정상 분포
"시간적으로 동질(homogeneous)인 마르코프 연쇄는 다음과 같은 추이행렬(마르코프 행렬)로 결정..."
rel. 에르고딕성,ergodicity
"양재귀적(positive recurrent) and 비주기적(aperiodic)인 상태를 에르고딕(ergodic)이라고 한다."

[edit]

마르코프 행렬, 추이행렬

Markov_matrix? WtEn:Markov_matrix ?
마르코프_행렬 ?



2022-07-16
mklink: 확률행렬,stochastic_matrix and Srch:추이확률행렬 Srch:transition_probability_matrix ... 이것들간의 관계 찾아보고 어떤 페이지를 만들 지 TBD

[edit]

Markov chain Monte Carlo (MCMC)

[edit]

tmp links ko

[edit]

tmp videos ko

김중헌 Markov Chain 마코프 체인 (서론, Transition Diagram/Matrix, Multi-Step Transition) - YouTube
https://www.youtube.com/watch?v=P0ouMwvsAi8
easy.
{
TOMV, MKLINK
상태,state
과정,process - 마르코프_과정,Markov_process?
마르코프_성질,Markov_property = 무기억성,memorylessness = 무기억성질,memoryless_property
시간,time - ( 현재,present { = now? } 과거,past 미래,future )
transition - ( 천이,transition or 전이,transition ), 확률,probabillity -> transition_probability
transition_probability 에는
one-step transition probability 이 있고, 그걸 원소로 행렬,matrix P를 만들면 그게 바로 Markov chain을 나타내는? aka 추이행렬,transition_matrix? chk
multi-step transition probability같은건 행렬곱으로 계산? chk
저 diagram이 transition_diagram 아무튼, 저기서 node는 state를, directed edge는 transition을 나타내는지? chk. 아무튼
In each state, the sum of outgoing transition probabilities is 1
}



AKA 마르코프 체인, 마코프 연쇄