'''베이즈 정리 Bayes' theorem''', AKA '''베이즈 법칙 Bayes' rule''' <> = ? = 보통 P(B|A)에서 P(A|B)로 갈 때 쓰이나? CHK 결과 관측에서 원인을 추론할 때 유용? // tmp from 마스터 알고리즘 책 P(원인|결과) = P(원인) × P(결과|원인) / P(결과) ex. 지난달 100명 환자, 14명 독감 걸렸고, 20명은 열이 있었고, 11명은 독감에 걸리고 열도 있었다. 독감이 걸렸을 때 열이 나는 조건부 확률 = 11/14 // [[조건부확률,conditional_probability]] 모든 환자 중 열이 나는 확률 = 20/100 독감 걸린 환자 중 열이 있는 확률 = 11/14 독감 and 열이 나는 확률 = P(독감, 발열) = P(독감) × P(발열|독감) = 14/100 × 11/14 = 11/100 이 값을 다른 방식으로 구할 수 있다. P(독감, 발열) = P(발열) × P(독감|발열) // ''조건부확률의 정의에 따라'' // ''그런데 위의 P(독감, 발열)과 식이 같다. 그걸 가져와서 쓰면'' P(발열) × P(독감|발열) = P(독감) × P(발열|독감) 양변을 P(발열) 로 나누면 P(독감|발열) = P(독감) × P(발열|독감) / P(발열) // ''이걸 계산하면, 14/100 × 11/14 ÷ 20/100 = 11/20'' ---- 조건부확률의 정의에 따라 $P(A|B)=\frac{P(A\cap B)}{P(B)}$ $P(B|A)=\frac{P(A\cap B)}{P(A)}$ 위 두 식에 따라, $P(A|B)P(B)=P(A\cap B)=P(B|A)P(A)$ 이다. (같은 내용 [[조건부확률,conditional_probability]] 페이지에도 있음) 여기에서 베이즈 법칙(Bayes' rule)의 가장 기본적인 형태를 얻는다. $P(A|B)=\frac{P(B|A)P(A)}{P(B)}$ (Schaum's outline) ---- Bayes' Theorem or Rule $A_1,A_2,\cdots,A_n$ 이 상호배제 사건들(mutually exclusive events)이며 그것들의 [[합집합,union]]이 [[표본공간,sample_space]] $S$ 라 하자. (i.e. 사건 하나는 반드시 일어난다.) 그렇다면 임의의 사건 $A$ 에 대해 다음 중요한 정리가 있다. $P(A_k|A)=\frac{P(A_k)P(A|A_k)}{\sum_{j=1}^n P(A_j)P(A|A_j)}$ 이것은 발생 가능한 여러 사건들 - $A_1,A_2,\cdots,A_n$ 이 일어날 확률을 찾을 수 있게 해준다. 이 때문에 베이즈 정리는 가끔 ''theorem on the probability of causes''라고도 불린다. (Schaum Prob and Stat p9) ---- 두 가지 꼴: 간단한 형태, 일반적인 형태 $P(A|B)=\frac{P(A)P(B|A)}{P(B)}$ $P(A|B)=\frac{P(A)P(B|A)}{\sum_{i=1}^{n}P(A_i)P(B|A_i)}$ 두번째는 A가 [[분할,partition]] .... CHK ---- Bayes' rule: $P(B|A)=\frac{P(A|B)P(B)}{P(A)}$ $P(A|B)=\frac{P(B|A)P(A)}{P(B)}$ 어떤 조건부 확률은 역 조건부 확률(reversed conditional probability)을 사용하여 표현할 수 있다는 것. [[http://contents.kocw.or.kr/document/lec/2012/Hufs/KimMyoungJin/05.pdf src p9]] = Cor. = $P(A|B)=\frac{P(A\cap B)}{P(B)}=\frac{P(A)P(B|A)}{P(A)P(B|A)+P(A^C)P(B|A^C)$ ---- [[조건부확률,conditional_probability]] 관련. 두 [[사건,event]] A, B에 대해 P(B|A)에서 P(A|B)로 갈 수 있게 해 준다. 두 사건과 두 [[결과,outcome]](A and A^^c^^)의 경우만 보면, $P(A|B)=\frac{P(B|A)P(A)}{P(B|A)P(A)+P(B|A^c)P(A^c)}$ = 정리 = TOCLEANUP A,,1,,, ..., A,,n,,: partition of S with P(A,,i,,)>0 P(A,,i,,|B) = P(A,,i,, ∩ B) / P(B) = {P(A,,i,,)P(B|A,,i,,)} / {P(A,,1,,)P(B|A,,1,,) + ... + P(A,,n,,)P(B|A,,n,,)} ---- $P(A_m|B)=\frac{P(B|A_m)P(A_m)}{P(B)}=\frac{P(B|A_m)P(A_m)}{\sum\nolimits_{n=1}^{n}P(B|A_n)P(A_n)}$ 이 식의 의미는 사건 $B$ 가 일어난 조건 하에서 사건 $A_m$ 이 일어날 확률을 구하는 데 있어, 역조건확률, 즉 사건 $A_m$ 이 일어난 조건하의 사건 $B$ 의 확률들을 사용하여 표현할 수 있다는 것. ''from http://contents.kocw.or.kr/document/lec/2012/Hufs/KimMyoungJin/05.pdf p11'' ---- B,,1,,, B,,2,,, …, B,,n,,을 표본 공간 S의 [[분할,partition]]이라고 하자. 사건 A가 발생했다고 가정할 때 사건 B,,j,,가 일어날 확률은? [[조건부확률,conditional_probability]]의 정의에서 다음 식을 얻을 수 있다. $P(B_j|A)=\frac{P(A\cap B_j)}{P(A)}=\frac{P(A|B_j)P(B_j)}{\sum_{k=1}^{n}P(A|B_k)P(B_k)}$ P(A)를 대체하기 위해 [[전확률정리,total_probability_theorem]]를 사용했다. (Leon-Garcia p.65) ---- [[표본공간,sample_space]] $S$ 의 [[분할,partition]]이 $A_1,A_2,\cdots,A_n$ 이고 $P(A_k)>0\quad(k=1,2,\cdots,n)$ 이고 [[사건,event]] $B$ 를 $P(B)>0$ 인 임의의 사건이라고 하면, $P(A_i|B)=\frac{P(A_i)\cdot P(B|A_i)}{\textstyle\sum_{k=1}^{n}P(A_k)\cdot P(B|A_k)$ $(i=1,2,\cdots,n)$ 왜냐하면, [[조건부확률,conditional_probability]] 정의에 의해 $P(A_i|B)=\frac{P(A_i\cap B)}{P(B)}$ 분자에 조건부확률의 정의를, 분모에 [[전확률정리,total_probability_theorem]]를 적용하면 $=\frac{P(A_i)\cdot P(B|A_i)}{\textstyle\sum_{k=1}^{n}P(A_k)\cdot P(B|A_k)$ ---- 서로 배반인(exclusive) $n$ 개의 [[사건,event]] $A_1,\cdots,A_n$ 이 $\sum P(A_i)=1$ 을 만족할 때, 어떤 사건 $E$ 가 일어났다는 가정에서의 [[조건부확률,conditional_probability]] $P(A_i|E)$ 에 관한 정리 $P(A_i|E)=\frac{P(E|A_i)P(A_i)}{\sum_{j=1}^{n}P(E|A_j)P(A_j)}$ ([https://terms.naver.com/entry.nhn?docId=1924094&cid=42125&categoryId=42125 from]) ---- 두 조건부확률 $P(A|B)$ 와 $P(B|A)$ 의 관계를 설명해 줌. A,,i,,가 S의 분할일 때 조건부확률의 정의에서, $P(A_i|B)=\frac{P(A_i\cap B)}{P(B)}$ $P(A_i|B)=\frac{P(A_i)P(B|A_i)}{P(B)}$ 한편 [[전확률정리,total_probability_theorem]]에 의하면 $P(B)=\sum_i P(B\cap A_i) = \sum_i P(A_i)P(B|A_i)$ 이므로, 이것을 분모에 대입하면 $P(A_i|B)=\frac{P(A_i)P(B|A_i)}{\sum_i P(A_i)P(B|A_i)}$ = 사전확률/사후확률/가능도가 포함된 설명 = Bayes formula 사건 A가 일어날 때, (일어났을 때?) 사건 B의 [[조건부확률,conditional_probability]] $P(B|A)=\frac{P(B\cap A)}{P(A)}=\frac{P(A|B)P(B)}{P(A|B)P(B)+P(A|B^c)P(B^c)}$ 사건 A가 일어날 때, (일어났을 때?) 서로 [[배반,disjoint]]인 사건들 $B_j\,(j=1,\ldots,n)$ 에 대한 확률 $P(B_j|A)=\frac{P(A|B_j)P(B_j)}{\sum_1^n P(A|B_j) P(B_j)}$ 즉, $P(B_j|A)\propto P(A|B_j)P(B_j)$ 이것의 뜻은, A가 일어난 경우, $B_j$ 가 일어날 확률은 $P(A|B_j)$ 와 $P(B_j)$ 의 곱에 비례한다는 것. * $P(B_j|A)$ : 사후확률 posterior * $P(A|B_j)$ : [[가능도,likelihood]] * $P(B_j)$ : 사전확률 prior 즉 $A$ 라는 사실이 관측되고 나면, $B_j$ 에 대한 믿음의 정도는, $B_j$ 가 참인 경우의 $A$ 의 발생가능성(가능도)과 이전의 믿음의 정도의 곱으로 표현할 수 있다는 것. [[http://bigdata.dongguk.ac.kr/lectures/med_stat/_book/%ED%99%95%EB%A5%A0probability%EC%9D%B4%EB%9E%80.html from]] ---- tmp from [[https://namu.wiki/w/%EB%82%98%EC%9D%B4%EB%B8%8C%20%EB%B2%A0%EC%9D%B4%EC%A7%80%EC%95%88%20%EC%95%8C%EA%B3%A0%EB%A6%AC%EC%A6%98 namu 나이브베이지안 2.1]]; chk { 두 사건 A, B에 대해 베이즈 정리는 $P(A|B)=\frac{P(B|A)P(A)}{P(B)}$ 여기서 $P(A)$ : 사전확률 prior probability - 원래부터 알고 있던 값 $P(B)$ : ~~사후확률 posterior probability~~ $P(A|B)$ : 사후확률 posterior probability ([[Date(2022-02-12T04:27:29)]] 에 보니까 고쳐져있네) 베이즈 정리는 사전확률을 가지고 사후확률을 예측하거나 추론하는 데 쓸 수 있다는 의의가 있다. 사건이 n개라면, $P(A|B)=P(A|B_1\cap B_2\cap \cdots \cap B_n)=\frac{P(B_1\cap B_2\cap\cdots\cap B_n|A)P(A)}{P(B)}$ ''(여러 개의 사건으로 구성된다 = 교집합)인 이유? QQQ'' 이 때 나이브 베이지안 알고리듬은 순진한, 즉, B를 구성하는 모든 사건들이 서로 독립사건이라는 가정을 한다. 이렇게 하면 우변이 계산이 쉬운 형태로 변한다. $P(A|B_1\cap B_2\cap \cdots \cap B_n)=\frac{P(B_1|A)P(B_2|A)\cdots P(B_n|A)P(A)}{P(B)}$ 우리가 알고 있는 것은 $P(A)$ 뿐, 나머지는 문제 상황에 따라 적절하게 결정해야 함. 대표적 방법: 가능한 선택지 중에서 가장 높은 $P(A|B)$ 를 주는 $P(B_i|A)$ 들을 찾는 사후확률최대화 maximum a posteriori 방법 //Google:maximum.a.posteriori 간단한 예를 들면, $P(B_i|A)$ 가 모두 [[표준편차,standard_deviation]] $\sigma$ 를 갖는 정규분포함수(see [[정규분포,normal_distribution]]) $N(\mu,\sigma)$ 라고 가정하고, 적절한 [[최적화,optimization]]방법을 동원해, $P(A|B)$ 를 [[최대화,maximization]]시키는 정규분포함수의 평균 $\mu$ 를 찾는 것이다. 최적화문제를 풀 때 분모의 $P(B)$ 는 결과에 영향을 미치지 않으므로 * 생략하거나 * 상수 $K$ 로 표현해두고 푸는 경우가 대부분이다. } = 예제 = 3대의 기계 M,,1,, M,,2,, M,,3,, 각각 전 제품의 20%, 30%, 50% 생산 각 기계의 생산 불량률: 1%, 2%, 3% 무작위로 뽑은 하나의 제품이 불량이었다면, 이 불량품이 M,,2,,에서 생산되었을 확률은? sol. S: 표본공간 B: 제품이 불량품일 사건 A,,i,,: 제품이 M,,i,,에 의하여 생산된 사건 제품이 M,,i,,에 의하여 생산되었을 확률 P(A,,1,,)=0.2 P(A,,2,,)=0.3 P(A,,3,,)=0.5 기계 M,,i,,에 의해 생산된 한 제품이 불량일 확률 P(B|A,,1,,)=0.01 P(B|A,,2,,)=0.02 P(B|A,,3,,)=0.03 '''베이즈 정리'''에 의해 $P(A_2|B)=\frac{P(A_2)P(B|A_2)}{\textstyle\sum_{k=1}^3 P(A_k)P(B|A_k)}$ $=\frac{0.3\times0.02}{0.2\times0.01+0.3\times0.02+0.5\times0.03}=0.26$ (from http://www.kocw.net/home/search/kemView.do?kemId=1162312 베이즈 정리) = [[베이즈_확률론,Bayesian_probability]] = 알아내기 쉬운 확률을 가지고 알아내기 어려운 확률을 추론해 낼 수 있음 조건부확률에 의해, $\Pr(B|A)=\frac{\Pr(A\cap B)}{\Pr(A)}=\frac{\Pr(B)\Pr(A|B)}{\Pr(A)}$ 다시 말해 $\Pr(B|A)=\frac{\Pr(A|B)\Pr(B)}{\Pr(A)}$ For disjoint events $B_1,B_2,\cdots,B_n$ , $\Pr(B_i|A)=\frac{\Pr(A|B_i)\Pr(B_i)}{\sum_i\Pr(A|B_i)\Pr(B_i)}$ [[WpKo:베이즈_확률론]] 표본공간 $S$ 가 $A_1,A_2,\cdots,A_n$ 로 분할된다면, (즉 $\bigcup_{i=1}^{n}A_i=S$ 이고 $A_1,A_2,\cdots,A_n$ 가 서로 배반이면) ([[집합의_분할,set_partition]]) $P(A_k|B)=\frac{P(B|A_k)P(A_k)}{\sum_{i=1}^{n}P(B|A_i)P(A_i)}$ 이 성립. 따름정리 $P(A|B)=\frac{P(B|A)P(A)}{P(B|A)P(A)+P(B|A^C)P(A^C)}$ = [[베이즈_추론,Bayesian_inference]] = 파이썬을 활용한 베이지안 통계 (스터디 요약 노트) https://johngrib.github.io/wiki/study-think-bayes/ [[WpKo:베이즈_추론]] [[WpEn:Bayesian_inference]] Up: [[추론,inference]] > [[통계적추론,statistical_inference]] = Bayesian network = [[Bayesian_network]] 베이즈_네트워크 ? belief_network, causal_network 도 같은 의미라고. (aistudy) Bayes_network, decision_network 도 같음. (wpen) DAG = directed_acyclic_graph = directed acyclic [[그래프,graph]]임 ---- http://www.aistudy.com/expert/bayesian_network.htm WpEn:Bayesian_network = 나이브 베이지안, naive Bayesian = 나이브 베이즈 분류기 https://angeloyeo.github.io/2020/08/04/naive_bayes.html tmp from [[https://namu.wiki/w/%EB%82%98%EC%9D%B4%EB%B8%8C%20%EB%B2%A0%EC%9D%B4%EC%A7%80%EC%95%88%20%EC%95%8C%EA%B3%A0%EB%A6%AC%EC%A6%98 namu 나이브 베이지안 알고리즘]] { [[베이즈_정리,Bayes_theorem]]를 이용한 확률적 [[기계학습,machine_learning]] 알고리듬. 사전확률을 기반으로 사후확률을 추론하는 확률적 예측을 할 때, 모든 사건이 독립이라는 순진한(naive) 가정을 하고 있기 때문에, hence the name. } = Links en = Bayes Theorem: A Framework for Critical Thinking https://neilkakkar.com/Bayes-Theorem-Framework-for-Critical-Thinking.html Bayes theorem, the geometry of changing beliefs 3Blue1Brown https://www.youtube.com/watch?v=HZGCoVF3YvM An Intuitive (and Short) Explanation of Bayes’ Theorem https://betterexplained.com/articles/an-intuitive-and-short-explanation-of-bayes-theorem/ How To Update Your Beliefs Systematically - Bayes’ Theorem Veritasium https://youtu.be/R13BD8qKeTg = Links ko = 한국어 설명 베이즈 정리의 의미 https://angeloyeo.github.io/2020/01/09/Bayes_rule.html http://www.aistudy.co.kr/math/bayes_theorem.htm [[https://terms.naver.com/entry.naver?docId=979122&cid=60248&categoryId=60248 지구과학사전: 베이즈 정리]] [[https://terms.naver.com/entry.naver?docId=3338165&cid=47324&categoryId=47324 수학백과: 베이즈의 정리]] 등 [[https://search.naver.com/search.naver?sm=ncc_clk&where=kdic&query=%BA%A3%C0%CC%C1%EE+%C1%A4%B8%AE 네이버 여러 사전들의 '베이즈 정리' 항목]] http://blog.naver.com/mykepzzang/220834940797 https://seing.tistory.com/32 베이지언 확률은 사후확률(posterior probability)을 사전확률(prior probability)과 likelihood를 이용해서 계산할 수 있도록 해 주는 확률 변환식 [[https://angeloyeo.github.io/2021/04/07/Kalman_filter.html#%EB%B2%A0%EC%9D%B4%EC%A6%88-%EC%A0%95%EB%A6%AC-update-rule]] [[https://bluehorn07.github.io/mathematics/2021/03/02/Bayes'-Rule.html]] https://hyeongminlee.github.io/post/bnn001_bayes_rule/ [[Bayesian_deep_learning]] { Up: [[심층학습,deep_learning]] }을 위해 알아보는 ---- 관련: [[확률,probability]] [[조건부확률,conditional_probability]] Twins: http://biohackers.net/wiki/BayesRule [[WpEn:Bayes'_theorem]] https://ncatlab.org/nlab/show/Bayes+rule https://everything2.com/title/Bayes%2527+Theorem [[Namu:베이즈%20정리]] http://www.aistudy.com/math/bayes_theorem.htm Up: Bayes or [[베이즈_통계학,Bayesian_statistics]], [[정리,theorem]]