확률변수,random_variable

R.V. 또는 RV

이하 정의역,domain을, 쉬운 설명에서는 표본공간이라 하고 어려운 설명에서는 확률공간이라 하는데 정확히 어떤 관계인지.....chk

기호: 대개 $X$
일반 정규분포,normal_distribution의 확률변수는 $X,$
표준정규분포,standard_normal_distribution의 확률변수는 $Z$ 를 쓰는 관례가 있는 듯?
그 외의 분포에 대한 확률변수 기호 TBW

정의:

표본공간에서 실수로 가는 함수.


// 김성범 https://youtu.be/GqDy0sInGJ0
표본공간의 각 원소에 실수,real_number를 대응시키는 함수.

// Schaum Prob RV and RP
random variable $X(\zeta)$ 는, single-valued real function.
sample space $S$ 의 sample point $\zeta$ 에 대해 실수,real_number 하나를 대응시키는 함수,function $X(\zeta)$ 가 바로 확률변수이며
$X(\zeta)$ 를 (줄여서) single letter $X$ 만으로도 자주 표기한다.

확률변수는 변수라기보다는 함수.
정의역이 표본공간 $\Omega$ 이고 치역이 실수집합의 부분집합인 함수.
$\Omega{X\atop \rightarrow}\mathbb{R}$
표본공간의 각 원소에 하나의 실수를 대응시키는 함수.


///wpko
확률변수의 정의역은 확률변수의 확률공간,probability_space.
확률변수의 공역은 확률변수의 상태공간,state_space.
만약 상태공간이 위상공간,topological_space인 경우, 상태공간은 통상적으로 보렐 시그마 대수(curr see 시그마대수,sigma-algebra)를 사용.
(반면, 보렐 시그마 대수 대신 르베그 가측집합의 시그마대수를 사용하면, 연속함수이지만 가측함수가 아닌 함수들이 존재하게 된다.)


정의:
확률변수 X란,
표본공간 S 내의 각 결과,outcome ζ를 실수 X(ζ)로 대응시키는 함수,function.

Key Point. A random variable $X$ is a function that maps each outcome $x$ of an experiment (e.g. a coin flip) to a number $X(x),$ which is the outcome value of $x.$
If the outcome value of $x$ is 1 then this may be written as $X=1,$ or as $x=1.$
(Information Theory, Stone, p. 26)

한국어 ‘확률’은 영어의 여러 단어 {probability(see 확률,probability), random, stochastic(see 확률과정,stochastic_process)}에 대응....

사건(event) =결과
표본공간(sample space): 모든 가능한 사건(event)의 집합
확률실험,random_experiment에서 발생 가능한 모든 사건,event집합,set

continuous random variable 연속확률변수
RV가 가질 수 있는 값이 무한히 많음
discrete random variable 이산확률변수
RV가 가질 수 있는 값이 가산,countable
mixed random variable

// tmp from [https]두산백과: pdf
{
ALSOIN 확률밀도함수,probability_density_function,PDF
이산 RV 연속 RV
pmf의 자리? (설명에 그냥 확률 P를 씀) pdf $f(x)$
평균,mean,average $m$ $\sum X \cdot P(X)$ $\int x \cdot f(x)$
분산,variance $\sigma^2$ $\sum X^2 \cdot P(X)-m^2$ $\int x^2 \cdot f(x) - m^2$
// 적분식 뒤에 $dx$ 를 생략했네?
RV / distribution / function / 시각화
이산확률변수 ⇒ 이산확률분포 ⇒ 확률질량함수 ⇒ 이산확률분포표
연속확률변수 ⇒ 연속확률분포 ⇒ 확률밀도함수 ⇒ 확률밀도함수그래프
}



지시확률변수 indicator random variable
지시확률변수,indicator_random_variable
{
관심있는 어떤 사건,event이 있을 때, 사건이 일어나면 1, 안 일어나면 0인 확률변수.
사건,event A의 지시변수는, 사건 A가 일어나면 1, 일어나지 않으면 0으로 정의되는 확률변수.

기호:
$I_A,\chi_A,1_A$

사건 $B$ 의 지시변수의 기대값,expected_value은 사건 $B$ 가 일어날 확률과 같음.
$\text{E}(I_B)=\text{P}(B)$

베르누이_확률변수,Bernoulli_random_variable와 same?? 차이가 있다면?






IID,independent_and_identically_distributed
{
independent and identically distributed, i.i.d., iid
독립항등분포/독립동일분포/

확률변수,random_variable 여러 개의 성질.
어떤 논의를 펼치기에 앞서 쓰이는 가정(assumption)인 경우가 많은듯? CHK


mv from RR:i.i.d.


(정보이론)엔트로피,entropy 관련

$n$ 개의 i.i.d 확률변수로 이뤄진 sequence 하나를 뽑으면, (원문: If we draw a sequence of n IID RVs,) "typical(전형적인/대표적인)" sequence의 확률은 대략 $2^{-nH(X)}$ 이며 그런 sequence는 대략 $2^{nH(X)}$ 개가 있다. 이 성질(asymptotic equipartition property AEP라고 알려진)은 정보이론의 많은 증명의 basis가 된다.
(Cover Thomas p6)

asymptotic_equipartition_property -> WpEn:Asymptotic_equipartition_property



고른분포,uniform_distribution와 iid의 관계 정확히? TBW.




1. 확률변수로 정의하는 사건

(Schaum's outline: Events defined by random variables)

$X$확률변수(r.v.)이고
$x$실수,real_number라면
사건,event $(X=x)$ 를 다음과 같이 정의.
$(X=x)=\{\zeta:\,X(\zeta)=x\}$
마찬가지로
$(X\le x)=\{\zeta:\,X(\zeta)\le x\}$
등으로 정의할 수 있음.

그러한 사건들의 확률,probability
$P(X=x)=P\{\zeta:\,X(\zeta)=x\}$
로 표기.


from [http]this kocw pdf file, chk
{
page 4
$P(X=x)=P_X(x)=P(x)$ 다 같은 표현.

page 10
확률변수 $X$ 의 분포함수가 $P$ 또는 $p$ 이다.
( 확률분포,probability_distribution
연속분포일 때는 PDF $p(x)$ 이고, 이산분포일 때는 PMF $P(x)$ )
이 때 확률변수 $X$기대값,expected_value 공식은
$E[X]=\sum_x xp(x)$
$E[aX+b]=\sum_x (ax+b)p(x)$
$E[f(X)]=\sum_x f(x)p(x)$
}


2. 확률변수의 독립


RV X, Y가 독립이기 위한 필요충분조건:
-∞ < x < ∞, -∞ < y < ∞ 에 대하여,
결합확률밀도함수,joint_probability_density_function,joint_PDF f:
$f(x,y)=g_1(x)\cdot g_2(y)$
$g_1$ : x만의 음이 아닌 함수
$g_2$ : y만의 음이 아닌 함수

See also 독립성,independence#s-3

3. 확률변수의 기대값



// ㄷㄱㄱ
Expectation: a fixed value that represents the value of a random variable.


확률변수 X의 확률분포가 다음 표와 같을 때,
$X$ $x_1$$x_2$$\cdots$$x_n$
확률 $p_1$ $p_2$ $\cdots$ $p_n$
확률변수 X의 기대값(또는 평균)은 다음과 같이 정의.
$\text{E}(X)=\sum_{i=1}^n x_i p_i = x_1p_1 + x_2p_2 + \cdots + x_np_n$

데이터 평균
확률변수 평균 = 기대값
데이터,data의 경우 평균이라 하고, (기대값이라고는 하지 않고?)
확률변수의 경우 평균과 기대값이 같은 뜻이다. (둘 다 쓰인다)
확률변수의 평균을 기대값이라고 하는 것은 확률변수의 값을 실제로 (무작위로?) 관측해볼 때 '평균적으로 기대되는 값'이라는 의미이다.[1]


4. 확률변수의 표준화

확률변수 X에서 새로운 확률변수 Z를 만들어 내는 것.
방법은,
$Z=\frac{X-E(X)}{s(X)}$
즉,
$Z=\frac1{s(X)}X-\frac{E(X)}{s(x)}$
여기에 $Y=aX+b$ 일 경우 $E(Y)=E(aX+b)=aE(X)+b$ 라는 사실을 적용하면,
$E(Z)=\frac1{s(X)}E(X)-\frac{E(X)}{s(X)}=\frac{E(X)-E(X)}{s(X)}=0$
또한 $Y=aX+b$ 일 경우 $V(Y)=a^2 V(X)$ 이며 $s(Y)=as(X)$ 라는 사실 중 후자를 적용하면,
$s(Z)=\frac1{s(X)}s(X)=1$

즉 어떤 확률변수 X에 대해서도, 저 변환식으로 만든 새로운 확률변수 Z는, 반드시 평균이 0이고 표준편차가 1이 된다.
이것은 평균이 0이고 표준편차가 1인 확률변수에 대해서만 다양한 성질을 조사해두면 다른 모든 확률변수에 그 결과를 응용할 수 있다는 뜻이다.

(나가노 히로유키)

관련 내용 표준정규분포,standard_normal_distribution에서도 언급.

5. 확률변수의 합의 기대값(평균)

확률변수 $X$$x_1,x_2,x_3$ 에서 어떤 값을 갖고
확률변수 $Y$$y_1,y_2$ 에서 어떤 값을 갖는다고 하자.
$X,Y$ 에 대해
$Z=X+Y$
로 정의되는 새로운 확률변수 $Z$ 를 생각하기로 하자.
예를 들어 $X=x_1 \;\text{and}\; Y=y_2$ 가 되는 확률을 $p_{12}$ 로 나타내기로 하면, $X,Y$ 의 분포는 다음과 같이 2차원 표로 나타난다.
$x_1$ $x_2$ $x_3$
$y_1$ $p_{11}$ $p_{21}$ $p_{31}$ $v_{1}$
$y_2$ $p_{12}$ $p_{22}$ $p_{32}$ $v_{2}$
$u_1$ $u_2$ $u_3$ $1$
이와 같이 X와 Y의 확률분포를 한 표로 정리한 것을 확률변수 X와 Y의 동시분포(=결합확률분포,joint_probability_distribution?)라고 한다.

$X=x_1$ 이 되는 확률을 $u_1$ 이라 하면, $u_1=p_{11}+p_{12}$ 이다. (둘은 상호배반(동시에 일어나지 않음, P(A∪B)=P(A)+P(B))이므로 단순히 더할 수 있다.)
// 영어? mutually_disjoint? mutual_disjointness? mutually_exclusive? mutual_exclusion?(이건 mutex쪽이 생각나는데 아무튼) .... Srch:mutually
같은 방식으로 $Y=y_1$ 이 되는 경우의 확률인 $v_1$$p_{11}+p_{21}+p_{31}$ 이다.

X와 Y의 확률분포를 각각 따로 표로 만들면 다음과 같다.
Xx1x2x3
확률u1u2u31
E(X)=x1u1+x2u2+x3u3
Yy1y2
확률v1v21
E(Y)=y1v1+y2v2
이렇게 준비하고 E(Z)=E(X+Y)를 계산해보면
E(Z)=E(X+Y)
=(x1+y1)p11+(x2+y1)p21+(x3+y1)p31+(x1+y2)p12+(x2+y2)p22+(x3+y2)p32
=x1(p11+p12)+x2(p21+p22)+x3(p31+p32)+y1(p11+p21+p31)+y2(p12+p22+p32)
=x1u1+x2u2+x3u3 + y1v1+y2v2
=E(X)+E(Y)
따라서 E(X+Y)=E(X)+E(Y)인 것을 확인할 수 있다. //// del ok

확률변수 $X,Y$ 에 대해
$E(X+Y)=E(X)+E(Y)$

그리고 이 식의 성질을 되풀이해 사용하면 합의 기대값(평균)에 대해 일반적으로 다음 식이 성립한다.
확률변수 $X_1,X_2,\cdots,X_n$ 에 대해
$E(X_1+X_2+\cdots+X_n)=E(X_1)+E(X_2)+\cdots+E(X_n)$


(나가노 히로유키)

6. 확률변수의 곱의 기대값(평균)

위와 같은 전개과정이 있으나 아무튼 결론은 (단 확률변수가 독립일 경우에만 해당. 독립성,independence#s-3)

확률변수 $X,Y$ 가 상호 독립일 때
$E(XY)=E(X)E(Y)$


(나가노 히로유키)

7. 확률변수의 합의 분산

이게 성립하는 건 확률변수가 서로 독립일 때만.

확률변수 $X,Y$ 가 상호 독립일 때
$V(X+Y)=V(X)+V(Y)$

위 식의 성질을 되풀이해 사용하면
확률변수 $X_1,X_2,\cdots,X_n$ 이 상호 독립일 때
$V(X_1+X_2+\cdots+X_n)=V(X_1)+V(X_2)+\cdots+V(X_n)$


(나가노 히로유키)

8. Links ko

수리통계학에서의 확률 변수와 확률 분포
https://freshrimpsushi.github.io/posts/random-variable-and-probability-distribution/
수리통계학에서의 랜덤 샘플 Random Sample
https://freshrimpsushi.github.io/posts/random-sample/
{
실현(realization), 샘플(sample), 랜덤 샘플의 정의. 사이트 참조.

확률 변수 X가 실제로 뽑힌 것을 실현(realization)이라 하고 보통 소문자 x로 나타냄.
실현이란 말을 쓰지 않더라도, 보통 convention은 대문자가 확률변수, 소문자가 데이터.
}


----
  • [1] 통계가 빨라지는 수학력 p291