기울기,gradient

차원,dimension에 따라,
1D에선 기울기,slope??
2D에선
$\nabla f=f_x\hat{\rm i} + f_y\hat{\rm j} = \frac{\partial}{\partial x}f(x,y) \hat{\rm i} + \frac{\partial}{\partial y}f(x,y)\hat{\rm j}$
3D에선
$\operatorname{grad}\phi=\nabla\phi=\frac{\partial\phi}{\partial x}\hat{\rm i}+\frac{\partial\phi}{\partial y}\hat{\rm j}+\frac{\partial\phi}{\partial z}\hat{\rm k}$
$\nabla f=\left[ i\frac{\partial}{\partial x}+j\frac{\partial}{\partial y}+k\frac{\partial}{\partial z}\right]f$ ([http]src)
nD에선
미분가능한 다변수 스칼라값함수 $f:\mathbb{R}^n\to\mathbb{R}$ 의 gradient $\nabla f:\mathbb{R}^n\to\mathbb{R}^n$ 는 점,point $p=(x_1,\cdots,x_n)$ 에서 다음 벡터,vector로 정의. (Wikipedia Gradient)
$\nabla f(p)=\begin{bmatrix}\frac{\partial f}{\partial x_1}(p)\\ \vdots\\ \frac{\partial f}{\partial x_n}(p)\end{bmatrix}$
또는 이렇게도 표기 (source: WpEn:Function_of_several_real_variables#Multivariable_differentiability)
$\nabla f(\vec{x}) = \left(\frac{\partial}{\partial x_1}, \frac{\partial}{\partial x_2}, \cdots, \frac{\partial}{\partial x_n} \right) f(\vec{x})$
아무튼 그래서 일반적으로 델,del,나블라,nabla는
$\nabla=\left(\frac{\partial}{\partial x_1},\cdots,\frac{\partial}{\partial x_n}\right)$

수식에서 델,del,나블라,nabla 바로 뒤에 스칼라장을 붙이면 그 스칼라장의 기울기임. 결과는 벡터장.

$\textrm{grad}f$ 는 $f$ 의 가장 큰 변화를 일으키는 방향을 가리킨다. (Kreyszig)

chk:
$f$ 가 있을 때
$\nabla f$ : gradient of $f$ 는 가장 가파르게 / 최대로 증가,increment하는 방향,direction, -> 기울기상승,gradient_ascent
$-\nabla f$ : 거기에 음의 부호를 붙이면 가장 가파르게 / 최대로 감소,decrement하는 방향? -> 기울기하강,gradient_descent
// rel. 증감,increment_and_decrement

스칼라장,scalar_field의 기울기는 최대 공간증가율의 크기와 방향을 동시에 나타내는 벡터,vector이다. (벡터? 벡터장?) (Sadiku 3.5)
CHK
스칼라장을 벡터장으로? 항상?
입력: 스칼라장,scalar_field
출력: 벡터장,vector_field

다변수함수의 편미분,partial_derivative과 밀접

Q: 기울기,slope와의 관계는?? slope를 더 높은 차원으로 일반화한게 gradient??
{
경사(gradient)라는 이름은, 예를 들어 $\hat{x}$ 성분 $\frac{\partial f}{\partial x}$ 가 $f$ 의 $x$ 에 대한 기울기(slope)라는 점에서 비롯된 것. [1]

Slope와 마찬가지로 특정 점에서의 변화율,rate_of_change과 관련있는데, TBW
}



각 방향/축? 에 대해 편미분을 한 다음 모아서 벡터로 만드는 것
쉬운 예: $f(x,y)=x^2\sin y$ 이면
$f_x=2x\sin y$
$f_y=x^2 \cos y$
$\nabla f(x,y)=(2x\sin y, x^2\cos y)$ ← gradient
$\nabla f=(\frac{\partial f}{\partial x},\frac{\partial f}{\partial y})$
Q: f 뒤에 parameter (x,y) 있는지 없는지 여부에 따라 달라지는 게 있음? 다시말해 위의 둘은 완전히 같은건가 아님 표기에 따라 차이가 있나?

기호 읽기: ∇f: del f, (nabla f,) gradient f


[edit]

1. 정길수

공간상의 한 임의의 점 (x,y,z) 에서 각 방향의 기울기를 생각하면
F(x,y,z)의 x축 방향 기울기 ∂F/∂x에 방향을 생각하면 (∂F/∂x)i 가 되고
F(x,y,z)의 y축 방향 기울기 ∂F/∂y에 방향을 생각하면 (∂F/∂y)j 가 되고
F(x,y,z)의 z축 방향 기울기 ∂F/∂z에 방향을 생각하면 (∂F/∂z)k 가 된다.
따라서 $F(x,y,z)$ 의 최대 기울기는 벡터 합
$\frac{\partial F}{\partial x}\vec{i}+\frac{\partial F}{\partial y}\vec{j}+\frac{\partial F}{\partial z}\vec{k}$
가 된다.
$=\operatorname{grad}F=\nabla F=\left(\frac{\partial}{\partial x}\vec{i}+\frac{\partial}{\partial y}\vec{j}+\frac{\partial}{\partial z}\vec{k}\right)F$
grad F는 각 축의 기울기 중에서 최대로 급한 경사를 선택한 것이므로 전체 기울기도 최대로 급한 경사를 나타낸다.

응용: 스칼라 전위,electric_potential가 높은 곳에서 낮은 곳으로 전하를 밀어 보내는 힘인 전계(전기장세기,electric_field_intensity)가 생김
$E=-\nabla V=-\operatorname{grad}V$

[edit]

2. 성질 properties

$\nabla(\varphi+\psi)=\nabla(\varphi)+\nabla(\psi)$
임의의 수 c에 대해,
$\nabla(c\varphi)=c\nabla(\varphi)$

등고선/등위선/contour 와 직교한다. CHK

기울기 연산(gradient operation)은
분배법칙,distributivity 성립.
교환법칙,commutativity과 결합법칙,associativity 성립 안함.

i.e. $f,g$ 가 미분가능한 스칼라장,scalar_field이라면,
$\nabla(f+g)=\nabla f+\nabla g$
$\nabla f \ne f\nabla$
$(\nabla f)g \ne \nabla (fg)$

from https://blog.naver.com/mykepzzang/221356477158 밑부분
[edit]

3. 공식 (Sadiku 식 3.31 a-d)

$\nabla(V+U)=\nabla V+\nabla U$

$\nabla(VU)=V\nabla U+U\nabla V$

$\nabla\left[\frac{V}{U}\right]=\frac{U\nabla V-V\nabla U}{U^2}$

$\nabla V^n=nV^{n-1}\nabla V$

(U, V는 스칼라이고 n은 정수.)

또는 스칼라장 V의 기울기는 다음 기본 성질을 가지고 있다.

  1. ∇V의 크기는 단위길이당 V의 최대 변화율과 같다.
  2. ∇V는 V의 최대 변화율의 방향을 가리킨다.
  3. 임의의 점에서의 ∇V는 이 점을 지나는 V가 일정한 면에 수직이다.
  4. 단위벡터,unit_vector a 방향으로의 투영(또는 성분)(see 사영,projection)은 ∇V·a이고, 이것을 a에 따른 V의 방향성 도함수라 한다. (see 방향도함수,directional_derivative) 이것은 a방향에서의 V의 변화율이다. (중략) 그러므로 스칼라 함수 V의 기울기로부터 V가 가장 급격하게 변하는 방향과 V의 최대 방향성 도함수의 크기를 알 수 있다.
  5. 만약 A=∇V이면 V를 A의 스칼라 포텐셜이라 한다. (maybe related to 퍼텐셜,potential, curr see 스칼라,scalar, ...)

(Sadiku p73 인용)

[edit]

4. 공식 (Thomas)

두 함수 $f$ 와 $g$ 의 gradient를 알고 있으면, 그 함수들의 합(합,sum), 차(차이,difference), 곱(곱,product), 몫(몫,quotient)의 gradient를 구하는 방법.

기울기에 대한 대수 공식
$\nabla(f+g)=\nabla f + \nabla g$
$\nabla(f-g)=\nabla f - \nabla g$
$\nabla(kf)=k\nabla f$ (k는 임의의 실수)
$\nabla(fg)=f\nabla g + g\nabla f$
$\nabla\left(\frac{f}{g}\right)=\frac{g\nabla f-f\nabla g}{g^2}$


[edit]

5. 잠재함수 = 퍼텐셜함수 = potential function 와의 관계

함수 f가 벡터장 F의 퍼텐셜함수라는 것은
$F=\nabla f$

TBW


[edit]

6. potential gradient

[edit]

6.1. electric potential gradient

전위경도, Electric Potential Gradient (EPG?) 라는 게 있음. electric_potential_gradient Google:electric.potential.gradient
curr goto 전위,electric_potential#s-25

[edit]

7. ML, NN, backprop에 나오는 각종 gradient

신경망,neural_network (esp ANN)
오차역전파 = 역전파,backpropagation
에 나오는 gradients 일단 여기에.
물론 계산그래프,computational_graph 자동미분,automatic_differentiation 관련.

자료들의 source는 Stanford cs231n이 대부분인 듯. https://cs231n.github.io/optimization-2/ etc.

ML에 응용되기 전에는 원래 수치해석,numerical_analysis > 수치미분,numerical_differentiation 쪽의 주제였을 것. am i right??

[edit]

7.1. numerical gradient vs analytic gradient

[edit]

7.2. upstream gradient vs downstream gradient

[edit]

7.3. gradient flow

[edit]

7.4. local gradient vs global gradient

[edit]

7.5. gradient vanishing

[edit]

7.6. gradient exploding

[edit]

8. tmp 응용: 역학mechanics에서


"위치에너지의 gradient의 마이너스".... 가장 급격하게 감소하는? 산 정상에서 계곡 같은?

[edit]

9. tmp 이창영

3차원 벡터함수 $\Phi$

$d\Phi(\vec{x})\equiv \nabla\Phi\cdot d\vec{\ell}$

[http]src23m


[edit]

10. tmp CHK


직각좌표계에서 스칼라장 V의 미분,differential은
$dV=\frac{\partial V}{\partial x}dx+\frac{\partial V}{\partial y}dy+\frac{\partial V}{\partial z}dz$
$dV=\frac{\partial V}{\partial x}\hat{a_x}\cdot dx\hat{a_x} + \frac{\partial V}{\partial y}\hat{a_y}\cdot dy\hat{a_y} + \frac{\partial V}{\partial z}\hat{a_z}\cdot dz\hat{a_z}$
$dV=\left( \frac{\partial V}{\partial x}\hat{a_x} + \frac{\partial V}{\partial y}\hat{a_y} + \frac{\partial V}{\partial z}\hat{a_z} \right) \cdot \left( dx\hat{a_x}+dy\hat{a_y}+dz\hat{a_z} \right)$
스칼라장 V의 기울기 : $\vec{G}$ 라 하면
$dV=\vec{G}\cdot d\vec{\ell} = |\vec{G}| |d\vec{\ell}| \cos\theta$
$\frac{dV}{d\ell}=G\cos\theta$ ........이 값은 $\theta=0$ 일 때 최대, 즉 $\vec{G}$ 와 $d\vec{\ell}$ 이 같은 방향일 때 최대
$\left.\frac{dV}{d\ell}\right|_{\rm max}=G$

from https://www.youtube.com/watch?v=-l0gZfn1IVo&list=PL4kNQgnipU2H6NbkZDdsM4qmmVOSILnw3&index=21

[edit]

11. tmp; 증감(증가/감소)와의 관계 ... mklink: 증가감소

https://sdolnote.tistory.com/entry/Gradient (very easy, 하지만 증가감소와 관련된 직관에 도움)
gradient의 방향,direction은 함수,function가 증가,increment하는 방향. viz 함수값이 커지는 방향.
rel. gradient의 방향이란 기울기벡터(gradient_vector)의 방향과 같은 말인지? 아님 기울기벡터가 기울기와 원래 동의어이고 뉘앙스만(뒤에 -벡터,vector 수식어가 붙었는지 아닌지만) 다른 건지? 암튼 see also 기울기벡터,gradient_vector#s-2의 선형계획법 example

chk (내생각)
{
rel. 증감,increment_and_decrement - 증가,increment and 감소,decrement

2d 곡선,curve function/graph에선
기울기,slope의
부호,sign는 양positive이면 증가하는 / 음negative이면 감소하는 - rel. 1st order 미분,derivative(first_order_derivative)
3d(이상) 곡면,surface(초곡면,hypersurface) function/graph에선
기울기,gradient(기울기벡터,gradient_vector)의
방향,direction은 증가하는 방향이며, 그것에 마이너스 부호를 붙이면 (i.e. 방향을 반대로 하면) 감소하는 방향
}

[edit]

12. etc





gradient는 [http]contour plot/map/curve, [http]등고선 과 관련있는데 TBW.
벡터가 등고선에 수직. perpendicular to the contour line.
그 벡터는 steepest descent/ascent를 가리키는.
또, gradient도 always perpendicular to the contour line.

tmp bmks en
https://math.fandom.com/wiki/Gradient

AKA 그레이디언트, 그래디언트, 경사, 경사도, 경도, 변화도, 구배, 물매

Twins: WpKo:기울기_(벡터)
{
기울기란, 스칼라장의 최대의 증가율을 나타내는 벡터장이라 함.
}
스칼라장의 기울기(gradient) https://angeloyeo.github.io/2019/08/25/gradient.html
구배(勾配, Gradient)의 의미 https://ghebook.blogspot.com/2010/07/gradient.html
https://everything2.com/title/Gradient
WpEn:Gradient


Compare: 다이버전스(발산,divergence), 컬(회전,curl)
Up: 벡터연산(자)? curr. 벡터미적분,vector_calculus
----