#noindex
예를 들면, 영어의 t 다음에 h는 빈번하게 출현, q 다음에는 거의 항상 u가 출현

필요한 사전 지식: [[조건부확률,conditional_probability]]

Applications of Markov Chains (2003)
https://news.ycombinator.com/item?id=23639863

설명은 https://ratsgo.github.io/machine%20learning/2017/03/18/HMMs/ 맨 앞 문단에 있음. (HMM은 은닉마코프모델)
[[상태,state]]가 [[전이,transition]]하는 것을 그 전의 긴 history가 필요없이 바로 직전 상태에서 추정할 수 있다는 것.


[[확률,probability#s-8]] 확률및랜덤프로세스

전이확률? 추이확률?
[[transition_probability]]
{
rel. [[추이행렬,transition_matrix]]
http://biohackers.net/wiki/TransitionProbability
https://encyclopediaofmath.org/wiki/Transition_probabilities
... Google:transition_probability
[[transition]] [[확률,probability]]
}

MKLINK:
[[확률,probability]]
[[확률및랜덤프로세스]]
[[확률과정,stochastic_process]] AKA [[랜덤프로세스,random_process]]
대기열이론 queueing_theory [[WpKo:대기행렬이론]] [[WpEn:Queueing_theory]] [[큐,queue]]
[[은닉_마르코프_모형,hidden_Markov_model,HMM]] - 작성중
[[Petri_net]] - writing
----
(from 이광근 대표세 p233)

예제는 인구 유입/유출, 웹페이지간의 연결관계

'''MC'''는 [[점화식,recurrence_relation]]들의 세트로? 연립으로? ... 나타낼 수 있다 - Google:방문점화식 Google:연쇄반응식 (chk: is this a 선형연립방정식 = [[연립일차방정식,system_of_linear_equations]]? 다만 그 중에서 [[확률행렬,stochastic_matrix]]처럼 ...의 [[합,sum]]이 1인?)
...
마르코프 연쇄반응식에서 변수 앞의 상수가 0인 경우가 많은데, 마르코프 연쇄가 항상 [[수렴,convergence]]할 [[충분조건,sufficient_condition]]은 이 상수들이 모두 0이 아닌 양수면 된다 ( Google:페론-프로베니우스+정리 Google:Perron-Frobenius ). 0을 아주 작은 양수로 바꾸고 점화식을 마사지한 후(각 변수마다 앞에 붙은 상수들의 합이 어쨌든 1이 되도록) 체인의 수렴값을 계산하면 된다.
----

= from 지과사전 tocleanup =
'''마르코프 연쇄'''는 $X_1,X_2,X_3,\cdots$ 같이 연속적으로 진행되는 [[확률변수,random_variable]]이며, 이 변수들의 범위 즉 그 변수들이 가질 수 있는 [[조합,combination]]을 [[상태공간,state_space]]이라 하고, 이것은 $n$ 번 째 단계에서 Markov 절차(process??)에 의한 변수 $X_n$ 의 값.

//[[마르코프_성질,Markov_property]]이란?
만약 어떤 과거 상태의 [[조건부확률분포]] { curr. [[조건부확률,conditional_probability]] [[확률분포,probability_distribution]] } $X_{n+1}$ 이 $X_n$ 만의 함수라면, 
 $P(X_{n+1}=x|X_0,X_1,\cdots,X_n)=P(X_{n+1}=x|X_n)$
이라 둘 수 있다. 여기서 $x$ 는 마르코프 절차에 있어 임의의 순간.
이런 성질을 Markov_property라 함.

## from 데학지 9 2 {
= Markov Property =
[[Markov_property]] or Markovian property?
[[마르코프_성질,Markov_property]] - w
속성? 성질?
> ''If you know the present, the future is independent of the past''
--직관과는 좀 다른 것 같은데?-- ''이건 [[법칙,law]]이 아닌 일종의 [[가정,assumption]] 혹은 [[성질,property]]이니까.''
현재는 과거를 완전히 반영한 결정체라는 뜻?
P(future|present,past) = P(future|present)
이 property을 가진 [[확률과정,stochastic_process]]은 훨씬 분석하기 쉽다.

''Compare: [[RR:무기억성,memoryless_property]]''

tmp twins:
https://developers.google.com/machine-learning/glossary?hl=ko#markov-property

= 이산 시간 마르코프 연쇄 Discrete-time Markov Chain (DTMC) =
[[discrete-time_Markov_chain]]
discrete-time Markov chain

확률 과정
 $\{X_n:n\ge 1\}$
은, DTMC with state space $S$ if
 a. $\forall n,\,X_n\in S$
 a. $\forall i,j\in S\text{ and }n\ge 0,$
  $P(\underbrace{X_{n+1}=j}_{\rm future}|\underbrace{X_n=i}_{\rm present},\underbrace{X_{n-1},\cdots,X_0}_{\rm past})=P(X_{n+1}=j|X_n=i)$

Time-homogeneous DTMC
 $P(X_{n+1}=j|X_n=i)$ 가 $n$ 에 독립
 $P(X_{n+1}=j|X_n=i)=p_{ij}$

## }

= 연속 시간 마르코프 연쇄 =
[[https://terms.naver.com/entry.naver?docId=4125373&cid=60207&categoryId=60207 수학백과: 연속 시간 마르코프 연쇄]]
"연속 시간 마르코프 연쇄"
Ggl:"연속 시간 마르코프 연쇄"

= 마르코프 연쇄의 정상 분포 =
[[https://terms.naver.com/entry.naver?docId=4125274&cid=60207&categoryId=60207 수학백과: 마르코프 연쇄의 정상 분포]]
 "시간적으로 동질(homogeneous)인 마르코프 연쇄는 다음과 같은 추이행렬(마르코프 행렬)로 결정..."
 rel. [[에르고딕성,ergodicity]]
 "양재귀적(positive recurrent) and 비주기적(aperiodic)인 상태를 에르고딕(ergodic)이라고 한다."

= 마르코프 행렬, 추이행렬 =
[[Markov_matrix]]? WtEn:Markov_matrix ?
마르코프_행렬 ?

[[추이행렬,transition_matrix]]

[[https://terms.naver.com/entry.naver?docId=4125275&cid=60207&categoryId=60207 수학백과: 마르코프 행렬]]

[[Date(2022-07-16T10:12:59)]]
mklink: [[확률행렬,stochastic_matrix]] and [[Srch:추이확률행렬]] [[Srch:transition_probability_matrix]] ... 이것들간의 관계 찾아보고 어떤 페이지를 만들 지 TBD

= Markov chain Monte Carlo (MCMC) =
[[Markov_chain_Monte_Carlo]]
Markov chain Monte Carlo

MKL
[[Metropolis_algorithm]] or
[[Metropolis-Hastings_algorithm]] (MH)
 {
 이 algorithm의 기본 아이디어는 
 [[stationary_distribution]]
 {
 '''stationary distribution'''
 KmsE:"stationary distribution" None (2024-04)... instead see KmsE:stationary
 정적 분포 via KpsE:"stationary distribution"

 MKL
 [[마르코프_연쇄,Markov_chain]]
 [[확률과정,stochastic_process]]
 [[행벡터,row_vector]]
 transition_matrix ... [[추이행렬,transition_matrix]] or [[전이행렬,transition_matrix]]

 WtEn:stationary_distribution
 WpEn:Stationary_distribution (disamb.)

 }//stationary distribution ... NN:"stationary distribution" Ggl:"stationary distribution" Bing:"stationary distribution"
 을 target density로 갖는 Markov chain을 simulation하는 것.

Ggl:"metropolis algorithm" Bing:"metropolis algorithm" NN:"metropolis algorithm"

[[WpKo:마르코프_연쇄_몬테카를로_방법]]
[[WpEn:Markov_chain_Monte_Carlo]]
rel. [[random_walk]], [[Bayesian]](estimation/statistics), [[근사,approximation]], [[Monte_Carlo]] or Monte_Carlo_method , 

[[Zeta:마르코프_연쇄_몬테카를로]]
https://angeloyeo.github.io/2020/09/17/MCMC.html

= tmp links ko =
https://m.blog.naver.com/birth1104/221752349742

https://m.blog.naver.com/birth1104/220663597892 50%쯤 제 3절 마르코프 연쇄
'''MC'''의 점화식+행렬 표현 예제.

Markov Process & Markov Chain
https://bluehorn07.github.io/computer_science/2021/07/03/Markov-process.html

http://biohackers.net/wiki/MarkovChain

= tmp videos ko =
김중헌 Markov Chain 마코프 체인 (서론, Transition Diagram/Matrix, Multi-Step Transition) - YouTube
https://www.youtube.com/watch?v=P0ouMwvsAi8
easy.
{
TOMV, MKLINK
[[상태,state]]
[[과정,process]] - [[마르코프_과정,Markov_process]]?
[[마르코프_성질,Markov_property]] = [[무기억성,memorylessness]] = [[무기억성질,memoryless_property]]
[[시간,time]] - ( [[현재,present]] { = now? } [[과거,past]] [[미래,future]] )
transition - ( [[천이,transition]] or [[전이,transition]] ), [[확률,probabillity]] -> [[transition_probability]]
transition_probability 에는
 one-step transition probability 이 있고, 그걸 원소로 [[행렬,matrix]] P를 만들면 그게 바로 '''Markov chain'''을 나타내는? aka [[추이행렬,transition_matrix]]? chk
 multi-step transition probability같은건 행렬곱으로 계산? chk
저 diagram이 [[transition_diagram]] 아무튼, 저기서 node는 state를, directed edge는 transition을 나타내는지? chk. 아무튼
In each state, the sum of outgoing '''transition probabilities''' is 1
}

----
See also:
[[마르코프_과정,Markov_process]]

----
Twins:
http://foldoc.org/Markov+chain
https://mathworld.wolfram.com/MarkovChain.html
[[http://terms.naver.com/entry.nhn?docId=4125273&cid=55642&categoryId=55642|수학백과: 마르코프 연쇄]]
[[https://terms.naver.com/entry.naver?docId=978734&cid=60248&categoryId=60248 지구과학사전: 마르코프 사슬]]
[[https://terms.naver.com/entry.naver?docId=828724&cid=42344&categoryId=42344 컴퓨터인터넷IT용어대사전: 마르코프 연쇄]]
https://en.citizendium.org/wiki/Markov_chain
[[https://wiki.mathnt.net/index.php?title=%EB%A7%88%EB%A5%B4%EC%BD%94%ED%94%84_%EC%B2%B4%EC%9D%B8 수학노트: 마르코프_체인]]
https://encyclopediaofmath.org/wiki/Markov_chain
https://everything2.com/title/Markov+chain
p MarkovChain - mv to here
[[Zeta:마르코프_연쇄]]

AKA '''마르코프 체인, 마코프 연쇄'''

Up: [[확률과정,stochastic_process]] esp. 이산확률과정
[[연쇄,chain]]
[[확률,probability]]
[[확률론,probability_theory]]