확률,probability

확률은 보통 probability지만..... stochastic, random으로 번역되는 경우도 있군


1. 표기

이산확률변수 X가 어떤 값 x를 취할 확률:
$P(X=x)$

연속확률변수 X에 대해 a≤X≤b가 될 확률:
$P(a\le X\le b)$

사건(event) E에 대해 E의 확률 표기: P(E) 또는 Pr(E)


2. 용어

사건,event
disjoint 배반?? CHK
independent 독립
확률변수,random_variable
이항확률변수
이산확률변수/연속확률변수
베르누이_시행,Bernoulli_trial


표본공간 (sample space, Ω): 확률 실험에서 발생 가능한 모든 결과들의 집합
사건(event): 표본공간 내에서 우리가 관심을 가지는 부분집합




3. 확률의 공리,axiom


1. P(A)≥0
2. Sequence of disjoint events $A_1,A_2,\cdots$
$P(\bigcup_i A_i)=\sum_i P(A_i)$
3. P(Ω)=1
(Ω: sample space)

이것은 뭐임? (고딩 교과서)
1. 0 <= P(A) <= 1
2. P(반드시 일어나는 사건)=1
3. P(절대 일어날 수 없는 사건)=0

4. 조건부확률,conditional_probability


$P(B|A)=\frac{P(A\cap B)}{P(A)}$

따라서,
$P(A\cap B)=P(A)P(B|A)$

아울러 $A\cap B=B\cap A$ 이므로
$=P(B\cap A)=P(B)P(A|B)$


5. 배반사건

A와 B가 서로 배반사건 :
A∩B = {}

따라서 그 때 다음 관계가 성립
P(A∩B) = 0,
P(A∪B) = P(A) + P(B)

6. 사건의 독립 및 종속

사건 A와 B가 있다면,
P(B|A)=P(B)
일 때, 사건 B는 A에 대해 독립이다. 이 때
=P(B|AC)
도 성립한다.

사건 A, B가 서로 독립이기 위한 필요충분조건은
P(A∩B)=P(A)P(B)
이다.

독립이 아니면 두 사건은 서로 종속이라고 한다.

pf.
P(A|B)
=P(A∩B)/P(B)
=P(A)P(B)/P(B)
=P(A)

A, B가 독립이면
  • P(B|A) = P(B|AC) = P(B)
  • P(A∩B) = P(A)·P(B)
  • AC, BC도 독립

A, B 서로 독립: A⊥B로 표기
$A\bot B \Leftrightarrow \Pr(AB)=\Pr(A)\Pr(B)$

A1, A2 and A3 are independent iff
  • A1⊥A2
  • A2⊥A3
  • A3⊥A1
  • P(A1A2A3)=P(A1)P(A2)P(A3)

Events A1, A2, …, Am are independent iff
  • Every set with m-1 events from A1, …, Am are independent
  • P(A1…Am)=P(A1)P(A2)…P(Am)


7. 독립시행의 확률

1회 시행에서 사건 A가 일어날 확률이 p일 때,
n회 독립시행에서 사건 A가 r회 일어날 확률은 (r=0,1,2,…,n)
${}_n{\rm C}_r p^r(1-p)^{n-r}$

See also 이항분포,binomial_distribution


9. TOCLEANUP (종이에서)

$\begin{array}{rl}P(B)=&P(A_1\cap B)+P(A_2\cap B)+\cdots\\ =&P(A_1)\cdot P(B|A_1)+P(A_2)\cdot P(B|A_2)+\cdots\\ =&\sum_{k=1}^{n}P(A_k)\cdot P(B|A_k)\end{array}$

$E(\bar{X})=E(X),\quad V(\bar{X})=\frac{V(X)}{n}$

$\begin{array}{c|cccc}x&x_1&x_2&\cdots&x_n\\ \hline p&p_1&p_2&\cdots&p_n\end{array}$

$1.\; \sum_{k=1}^{n}P_k=1$
$2.\; E(X)=\sum_{k=1}^{n}x_k\cdot p_k$
$3.\; V(X)=\sum_{k=1}^{n}(x_k-m)^2\cdot p_k$
$4.\; V(X)=E\left(X^2\right)-\left(E(X)\right)^2$
$5.\; E(aX+b)=E(aX)+E(b)=aE(X)+b$
$6.\; V(aX+b)=a^2V(X)$


10. 비교: 배반사건과 독립사건

A와 B가 배반 A와 B가 독립
의미 동시에 일어나지 않는다. 일어날 확률에 서로 영향이 없다.
관계식 P(A∩B)=0 P(A|B)=P(A)
P(A∩B)=P(A)P(B)

11. 확률함수

11.1. 확률밀도함수,probability_density_function,PDF


$P(a\le X\le b)=\int_a^b f(x)dx$

확률 밀도 함수의 필수 조건 두가지:

1. 0 이상
$\forall x,\; f(x)\ge 0$
2. 그래프 아래 면적이 1
$\int_{-\infty}^{\infty}f(x)dx=1$

12. 전확률정리 total probability theorem

A1, ..., An이 S의 partition일때
P(B) = P(A1) P(B|A1) + ... + P(An) P(B|An)
=P(∪i(B∩Ai))
=P(B∩A1) + ... + P(B∩An)
CHK..




13. Bayes' rule or 베이즈_정리,Bayes_theorem


A1, ..., An: partition of S with P(Ai)>0

P(Ai|B)
= P(Ai ∩ B) / P(B)
= {P(Ai)P(B|Ai)} / {P(A1)P(B|A1) + ... + P(An)P(B|An)}


14. 베이즈_확률론,Bayesian_probability


알아내기 쉬운 확률을 가지고 알아내기 어려운 확률을 추론해 낼 수 있음


조건부확률에 의해,
$\Pr(B|A)=\frac{\Pr(A\cap B)}{\Pr(A)}=\frac{\Pr(B)\Pr(A|B)}{\Pr(A)}$
다시 말해
$\Pr(B|A)=\frac{\Pr(A|B)\Pr(B)}{\Pr(A)}$

For disjoint events $B_1,B_2,\cdots,B_n$ ,
$\Pr(B_i|A)=\frac{\Pr(A|B_i)\Pr(B_i)}{\sum_i\Pr(A|B_i)\Pr(B_i)}$


WpKo:베이즈_확률론


표본공간 $S$$A_1,A_2,\cdots,A_n$ 로 분할된다면,
(즉 $\bigcup_{i=1}^{n}A_i=S$ 이고 $A_1,A_2,\cdots,A_n$ 가 서로 배반이면)
(집합의_분할,partition_of_a_set)

$P(A_k|B)=\frac{P(B|A_k)P(A_k)}{\sum_{i=1}^{n}P(B|A_i)P(A_i)}$
이 성립.

따름정리
$P(A|B)=\frac{P(B|A)P(A)}{P(B|A)P(A)+P(B|A^C)P(A^C)}$