[[차원,dimension]]에 따라, ''1D에선 [[기울기,slope]]??'' 2D에선 $\nabla f=f_x\hat{\rm i} + f_y\hat{\rm j} = \frac{\partial}{\partial x}f(x,y) \hat{\rm i} + \frac{\partial}{\partial y}f(x,y)\hat{\rm j}$ 3D에선 $\operatorname{grad}\phi=\nabla\phi=\frac{\partial\phi}{\partial x}\hat{\rm i}+\frac{\partial\phi}{\partial y}\hat{\rm j}+\frac{\partial\phi}{\partial z}\hat{\rm k}$ $\nabla f=\left[ i\frac{\partial}{\partial x}+j\frac{\partial}{\partial y}+k\frac{\partial}{\partial z}\right]f$ ([[http://hyperphysics.phy-astr.gsu.edu/hbase/gradi.html#c1 src]]) nD에선 미분가능한 다변수 스칼라값함수 $f:\mathbb{R}^n\to\mathbb{R}$ 의 '''gradient''' $\nabla f:\mathbb{R}^n\to\mathbb{R}^n$ 는 [[점,point]] $p=(x_1,\cdots,x_n)$ 에서 다음 [[벡터,vector]]로 정의. (Wikipedia Gradient) $\nabla f(p)=\begin{bmatrix}\frac{\partial f}{\partial x_1}(p)\\ \vdots\\ \frac{\partial f}{\partial x_n}(p)\end{bmatrix}$ 또는 이렇게도 표기 (source: [[WpEn:Function_of_several_real_variables#Multivariable_differentiability]]) $\nabla f(\vec{x}) = \left(\frac{\partial}{\partial x_1}, \frac{\partial}{\partial x_2}, \cdots, \frac{\partial}{\partial x_n} \right) f(\vec{x})$ 아무튼 그래서 일반적으로 [[델,del,나블라,nabla]]는 $\nabla=\left(\frac{\partial}{\partial x_1},\cdots,\frac{\partial}{\partial x_n}\right)$ 수식에서 [[델,del,나블라,nabla]] 바로 뒤에 스칼라장을 붙이면 그 스칼라장의 '''기울기'''임. 결과는 벡터장. $\textrm{grad}f$ 는 $f$ 의 가장 큰 변화를 일으키는 방향을 가리킨다. (Kreyszig) chk: $f$ 가 있을 때 $\nabla f$ : gradient of $f$ 는 가장 가파르게 / 최대로 [[증가,increment]]하는 [[방향,direction]], -> [[기울기상승,gradient_ascent]] $-\nabla f$ : 거기에 음의 부호를 붙이면 가장 가파르게 / 최대로 [[감소,decrement]]하는 방향? -> [[기울기하강,gradient_descent]] // rel. [[증감,increment_and_decrement]] [[스칼라장,scalar_field]]의 '''기울기'''는 최대 공간증가율의 크기와 방향을 동시에 나타내는 [[벡터,vector]]이다. (벡터? 벡터장?) (Sadiku 3.5) CHK 스칼라장을 벡터장으로? 항상? 입력: [[스칼라장,scalar_field]] 출력: [[벡터장,vector_field]] 다변수함수의 [[편미분,partial_derivative]]과 밀접 Q: [[기울기,slope]]와의 관계는?? slope를 더 높은 차원으로 일반화한게 gradient?? { '''경사'''(gradient)라는 이름은, 예를 들어 $\hat{x}$ 성분 $\frac{\partial f}{\partial x}$ 가 $f$ 의 $x$ 에 대한 '''기울기'''(slope)라는 점에서 비롯된 것. [* f의 x에 대한 기울기라는 점에서 비롯된 것이다. https://terms.naver.com/entry.nhn?docId=3578284&cid=58944&categoryId=58968] Slope와 마찬가지로 특정 점에서의 [[변화율,rate_of_change]]과 관련있는데, TBW } Sub: [[기울기벡터,gradient_vector]] Compare: [[방향도함수,directional_derivative]] 와 밀접?? 각 방향/축? 에 대해 편미분을 한 다음 모아서 벡터로 만드는 것 쉬운 예: $f(x,y)=x^2\sin y$ 이면 $f_x=2x\sin y$ $f_y=x^2 \cos y$ $\nabla f(x,y)=(2x\sin y, x^2\cos y)$ ← '''gradient''' $\nabla f=(\frac{\partial f}{\partial x},\frac{\partial f}{\partial y})$ Q: f 뒤에 parameter (x,y) 있는지 없는지 여부에 따라 달라지는 게 있음? 다시말해 위의 둘은 완전히 같은건가 아님 표기에 따라 차이가 있나? 기호 읽기: ∇f: del f, (nabla f,) gradient f ---- <> = 정길수 = 공간상의 한 임의의 점 (x,y,z) 에서 각 방향의 기울기를 생각하면 F(x,y,z)의 x축 방향 기울기 ∂F/∂x에 방향을 생각하면 (∂F/∂x)i 가 되고 F(x,y,z)의 y축 방향 기울기 ∂F/∂y에 방향을 생각하면 (∂F/∂y)j 가 되고 F(x,y,z)의 z축 방향 기울기 ∂F/∂z에 방향을 생각하면 (∂F/∂z)k 가 된다. 따라서 $F(x,y,z)$ 의 최대 기울기는 벡터 합 $\frac{\partial F}{\partial x}\vec{i}+\frac{\partial F}{\partial y}\vec{j}+\frac{\partial F}{\partial z}\vec{k}$ 가 된다. $=\operatorname{grad}F=\nabla F=\left(\frac{\partial}{\partial x}\vec{i}+\frac{\partial}{\partial y}\vec{j}+\frac{\partial}{\partial z}\vec{k}\right)F$ grad F는 각 축의 기울기 중에서 최대로 급한 경사를 선택한 것이므로 전체 기울기도 최대로 급한 경사를 나타낸다. 응용: 스칼라 [[전위,electric_potential]]가 높은 곳에서 낮은 곳으로 전하를 밀어 보내는 힘인 전계([[전기장세기,electric_field_intensity]])가 생김 $E=-\nabla V=-\operatorname{grad}V$ = 성질 properties = $\nabla(\varphi+\psi)=\nabla(\varphi)+\nabla(\psi)$ 임의의 수 c에 대해, $\nabla(c\varphi)=c\nabla(\varphi)$ 등고선/등위선/contour 와 직교한다. CHK ---- '''기울기 연산'''(gradient operation)은 [[분배법칙,distributivity]] 성립. [[교환법칙,commutativity]]과 [[결합법칙,associativity]] 성립 안함. i.e. $f,g$ 가 미분가능한 [[스칼라장,scalar_field]]이라면, $\nabla(f+g)=\nabla f+\nabla g$ $\nabla f \ne f\nabla$ $(\nabla f)g \ne \nabla (fg)$ from https://blog.naver.com/mykepzzang/221356477158 밑부분 = 공식 (Sadiku 식 3.31 a-d) = $\nabla(V+U)=\nabla V+\nabla U$ $\nabla(VU)=V\nabla U+U\nabla V$ $\nabla\left[\frac{V}{U}\right]=\frac{U\nabla V-V\nabla U}{U^2}$ $\nabla V^n=nV^{n-1}\nabla V$ (U, V는 스칼라이고 n은 정수.) 또는 스칼라장 V의 '''기울기'''는 다음 기본 성질을 가지고 있다. 1. ∇V의 크기는 단위길이당 V의 최대 변화율과 같다. 2. ∇V는 V의 최대 변화율의 [[방향,direction|방향]]을 가리킨다. 3. 임의의 점에서의 ∇V는 이 점을 지나는 V가 일정한 면에 [[직교성,orthogonality|수직]]이다. 4. [[단위벡터,unit_vector]] '''a''' 방향으로의 투영(또는 성분)(see [[사영,projection]])은 ∇V·'''a'''이고, 이것을 '''a'''에 따른 V의 방향성 도함수라 한다. (see [[방향도함수,directional_derivative]]) 이것은 '''a'''방향에서의 V의 변화율이다. (중략) 그러므로 스칼라 함수 V의 '''기울기'''로부터 V가 가장 급격하게 변하는 방향과 V의 최대 방향성 도함수의 크기를 알 수 있다. 5. 만약 '''A'''=∇V이면 V를 '''A'''의 스칼라 포텐셜이라 한다. (maybe related to [[퍼텐셜,potential]], curr see [[스칼라,scalar]], ...) (Sadiku p73 인용) = 공식 (Thomas) = 두 함수 $f$ 와 $g$ 의 '''gradient'''를 알고 있으면, 그 함수들의 합([[합,sum]]), 차([[차이,difference]]), 곱([[곱,product]]), 몫([[몫,quotient]])의 '''gradient'''를 구하는 방법. '''기울기'''에 대한 대수 공식 $\nabla(f+g)=\nabla f + \nabla g$ $\nabla(f-g)=\nabla f - \nabla g$ $\nabla(kf)=k\nabla f$ (k는 임의의 실수) $\nabla(fg)=f\nabla g + g\nabla f$ $\nabla\left(\frac{f}{g}\right)=\frac{g\nabla f-f\nabla g}{g^2}$ rel. [[델,del,나블라,nabla]] = 잠재함수 = 퍼텐셜함수 = potential function 와의 관계 = 함수 f가 벡터장 F의 퍼텐셜함수라는 것은 $F=\nabla f$ TBW MKLINK [[퍼텐셜함수,potential_function]] [[potential_gradient]] - 바로아래section = potential gradient = Srch:potential_gradient Google:potential.gradient MKLINK [[퍼텐셜함수,potential_function]] [[퍼텐셜,potential]] == electric potential gradient == 전위경도, Electric Potential Gradient (EPG?) 라는 게 있음. electric_potential_gradient Google:electric.potential.gradient curr goto [[전위,electric_potential#s-25]] = ML, NN, backprop에 나오는 각종 gradient = [[신경망,neural_network]] (esp ANN) 오차역전파 = [[역전파,backpropagation]] 에 나오는 '''gradient'''s 일단 여기에. 물론 [[계산그래프,computational_graph]] [[자동미분,automatic_differentiation]] 관련. 자료들의 source는 Stanford cs231n이 대부분인 듯. https://cs231n.github.io/optimization-2/ etc. ML에 응용되기 전에는 원래 [[수치해석,numerical_analysis]] > [[수치미분,numerical_differentiation]] 쪽의 주제였을 것. am i right?? == numerical gradient vs analytic gradient == [[numerical_gradient]] 수치적으로 계산한? [[analytic_gradient]] 해석적으로 계산한? tmp see [[https://hwi-doc.tistory.com/entry/4-오차역전파propagation를-이용한-gradient-계산]] ... Google:numerical.gradient+analytic.gradient == upstream gradient vs downstream gradient == [[upstream_gradient]] [[downstream_gradient]] tmp see https://deepinsight.tistory.com/98 and https://jason7406.medium.com/cs231n-3-introduction-to-neural-networks-1-2d267f087dfb ... Google:upstream.gradient+downstream.gradient == gradient flow == [[gradient_flow]] 기울기흐름 ?? [[흐름,flow]] ? ... Google:기울기흐름 Google:gradient.flow == local gradient vs global gradient == [[local_gradient]] [[global_gradient]] 번역? 지역기울기?? 전역기울기? tmp see https://middlebro.github.io/Lecture-4/ ... Google:local.gradient Naver:local.gradient == gradient vanishing == [[기울기소실,gradient_vanishing]] == gradient exploding == [[gradient_exploding]] = tmp 응용: 역학mechanics에서 = $\vec{F}=-\nabla V$ F : 힘? 전기장? V : [[퍼텐셜에너지,potential_energy]]? [[전위,electric_potential]]? "위치에너지의 gradient의 마이너스".... 가장 급격하게 감소하는? 산 정상에서 계곡 같은? = tmp 이창영 = 3차원 벡터함수 $\Phi$ $d\Phi(\vec{x})\equiv \nabla\Phi\cdot d\vec{\ell}$ [[http://www.kocw.net/home/search/kemView.do?kemId=1269801 src]]23m = tmp CHK = 직각좌표계에서 스칼라장 V의 [[미분,differential]]은 $dV=\frac{\partial V}{\partial x}dx+\frac{\partial V}{\partial y}dy+\frac{\partial V}{\partial z}dz$ $dV=\frac{\partial V}{\partial x}\hat{a_x}\cdot dx\hat{a_x} + \frac{\partial V}{\partial y}\hat{a_y}\cdot dy\hat{a_y} + \frac{\partial V}{\partial z}\hat{a_z}\cdot dz\hat{a_z}$ $dV=\left( \frac{\partial V}{\partial x}\hat{a_x} + \frac{\partial V}{\partial y}\hat{a_y} + \frac{\partial V}{\partial z}\hat{a_z} \right) \cdot \left( dx\hat{a_x}+dy\hat{a_y}+dz\hat{a_z} \right)$ 스칼라장 V의 기울기 : $\vec{G}$ 라 하면 $dV=\vec{G}\cdot d\vec{\ell} = |\vec{G}| |d\vec{\ell}| \cos\theta$ $\frac{dV}{d\ell}=G\cos\theta$ ........이 값은 $\theta=0$ 일 때 최대, 즉 $\vec{G}$ 와 $d\vec{\ell}$ 이 같은 방향일 때 최대 $\left.\frac{dV}{d\ell}\right|_{\rm max}=G$ from https://www.youtube.com/watch?v=-l0gZfn1IVo&list=PL4kNQgnipU2H6NbkZDdsM4qmmVOSILnw3&index=21 = tmp; ''증감(증가/감소)와의 관계 ... mklink: 증가감소'' = https://sdolnote.tistory.com/entry/Gradient (very easy, 하지만 증가감소와 관련된 직관에 도움) gradient의 [[방향,direction]]은 [[함수,function]]가 [[증가,increment]]하는 방향. viz 함수값이 커지는 방향. rel. gradient의 방향이란 기울기벡터(gradient_vector)의 방향과 같은 말인지? 아님 기울기벡터가 기울기와 원래 동의어이고 뉘앙스만(뒤에 -[[벡터,vector]] 수식어가 붙었는지 아닌지만) 다른 건지? 암튼 see also [[기울기벡터,gradient_vector#s-2]]의 선형계획법 example chk (내생각) { rel. [[증감,increment_and_decrement]] - [[증가,increment]] and [[감소,decrement]] 2d [[곡선,curve]] function/graph에선 [[기울기,slope]]의 [[부호,sign]]는 양positive이면 증가하는 / 음negative이면 감소하는 - rel. 1st order [[미분,derivative]](first_order_derivative) 3d(이상) [[곡면,surface]]([[초곡면,hypersurface]]) function/graph에선 [[기울기,gradient]]([[기울기벡터,gradient_vector]])의 [[방향,direction]]은 증가하는 방향이며, 그것에 마이너스 부호를 붙이면 (i.e. 방향을 반대로 하면) 감소하는 방향 } = etc = [[기울기하강,gradient_descent]] [[기울기상승,gradient_ascent]] { '''기울기상승, 경사상승''' [[기울기,gradient]] Opp: [[기울기하강,gradient_descent]] ... Google:gradient.ascent } gradient는 [[http://tomoyo.ivyro.net/123/wiki.php/asdf?action=fullsearch&value=contour&context=20&case=1|contour]] plot/map/curve, [[http://tomoyo.ivyro.net/123/wiki.php/asdf?action=fullsearch&value=%EB%93%B1%EA%B3%A0%EC%84%A0&context=20&case=1|등고선]] 과 관련있는데 TBW. 벡터가 등고선에 수직. perpendicular to the contour line. 그 벡터는 steepest descent/ascent를 가리키는. 또, gradient도 always perpendicular to the contour line. tmp bmks en https://math.fandom.com/wiki/Gradient ---- AKA '''그레이디언트, 그래디언트, 경사, 경사도, 경도''', 변화도, 구배, 물매 Twins: [[WpKo:기울기_(벡터)]] { 기울기란, 스칼라장의 최대의 증가율을 나타내는 벡터장이라 함. } 스칼라장의 기울기(gradient) https://angeloyeo.github.io/2019/08/25/gradient.html 구배(勾配, Gradient)의 의미 https://ghebook.blogspot.com/2010/07/gradient.html https://everything2.com/title/Gradient [[WpEn:Gradient]] https://mathworld.wolfram.com/Gradient.html Compare: 다이버전스([[발산,divergence]]), 컬([[회전,curl]]) Up: 벡터연산(자)? curr. [[벡터미적분,vector_calculus]]