옌센_부등식,Jensen_inequality

Jensen’s inequality, 젠센 부등식 (kms) 옌센 부등식 (wpko)

오목볼록(오목볼록,concave_and_convex)과 연관. - curr goto 미적분,calculus#s-9 <- 저기에도 설명 있음.
오목볼록과 매우 밀접. see https://suhak.tistory.com/221 (볼록 함수와 젠센 부등식)
볼록함수,convex_function

(대충) // 나중에 엄밀하게 rewrite
볼록함수에 대하여,
값들의 평균을 함수에 대입한 결과는
값들을 각각 함수에 대입하여 평균을 낸 것보다
작거나 같다는 것.
i.e.
값들을 (모두) 평균하여 함수에 대입한 결과는
값들을 (각각) 대입하여 평균을 낸 것보다
이하라는 것.


위로 오목(concave up) (i.e. 아래로 볼록)한 함수 $f$ 에 대한 성질로,
$x_1,x_2,\cdots,x_n$
의 가중평균,weighted_mean(curr see 가중값,weight)의 함수값이
$f(x_1),f(x_2),\cdots,f(x_n)$ 의 가중평균 이하라는 것
}
// tmp from wpko; merge.
{
기대값의 볼록함수와 볼록함수의 기대값 사이의 부등식 관계.
(see 기대값,expected_value, 볼록함수,convex_function)
}

// 수학백과
볼록함수 $f$ 가 만족하는 부등식은 다음과 같다.
$f(tx_1+(1-t)x_2)\le tf(x_1)+(1-t)f(x_2)$
여기서
$f:$ 실수 구간에서 정의된 볼록함수,convex_function
$x_1,x_2:$ 구간 내 임의의 두 점
$t:$ $0<t<1$ 인 임의의 실수
(부등식의) 등호가 $x_1=x_2$ 일 때만 성립하면 $f$ 는 순볼록함수라고 한다.

(여기에 비슷한 구조를 가진 영_부등식,Young_inequality과 횔더_부등식,Hoelder_inequality을 소개하는데 skipped)

이것을 일반화한 것이 옌센 부등식.
$f(t_1x_1+t_2x_2+\cdots+t_nx_n)\le t_1f(x_1)+t_2f(x_2)+\cdots+t_nf(x_n)$
여기서
$f$ : 실수 구간에서 정의된 볼록함수
$x_1,x_2,\ldots,x_n:$ 구간 내 임의의 점
$t_1,t_2,\ldots,t_n:$ 0보다 크고 합이 1인 실수들 // rel. partition_of_unity ?
$f$ 가 순볼록함수이면 등호는 $x_1=x_2=\cdots=x_n$ 일 때만 성립한다.

$t_i=\frac{s_i}{s_1+s_2+\cdots+s_n}$ 으로 놓으면
$f\left(\frac{s_1x_1+s_2x_2+\cdots+s_nx_n}{s_1+s_2+\cdots+s_n}\right)\le\frac{s_1f(x_1)+s_2f(x_2)+\cdots+s_nf(x_n)}{s_1+s_2+\cdots+s_n}$
i.e.
$f\left(\frac{\sum s_ix_i}{\sum s_i}\right)\le\frac{\sum s_if(x_i)}{\sum s_i}$

좌변의 $f()$ 안에 들어가는 것은 가중평균,weighted_mean 즉 기대값,expected_value

// chk: $s_1,\ldots,s_n$ : 양수 가중값,weight?


즉 (Jensen 부등식)은 (볼록함수의 조건이 되는 부등식)을 일반화한 것? chk

확률변수의 Jensen inequality

/*from [https]this slide p2*/
If $f$ is a 볼록함수,convex_function and $X$ is a 확률변수,random_variable, then
$Ef(X)\ge f(EX)$
Moreover(게다가/더욱이), if $f$ is strictly convex(순볼록), then equality implies that $X=EX$ with probability 1, i.e. $X$ is a constant.

// from 수학백과 (증명은 수학백과에)
$X$ 가 확률변수이고, $f$ 가 $X$ 의 값을 포함하는 구간,interval에서 정의된 볼록함수,convex_function일 때, 다음 부등식이 성립.
$f(E(X)) \le E(f(X))$