• 기울기하강,gradient_descent . . . . 14 matches
       https://calculus.subwiki.org/wiki/Gradient_descent
       http://www.aistudy.com/math/gradient_descent.htm 보면 [[역전파,backpropagation]]와 관련.
       https://angeloyeo.github.io/2020/08/16/gradient_descent.html
       batch_gradient_descent BGD
       stochastic_gradient_descent SGD
       mini-batch_gradient_descent
       확률적기울기하강 stochastic_gradient_descent SGD
       [[proximal_gradient_descent]]
       ... Google:proximal_gradient_descent Naver:proximal_gradient_descent
       [[natural_gradient_descent]]
       [[기울기하강,gradient_descent]] and
       http://www.aistudy.com/math/gradient_descent.htm
        batch_gradient_descent
        on-line_gradient_descent
       https://calculus.subwiki.org/wiki/Gradient_descent
• 기울기,gradient . . . . 3 matches
        $-\nabla f$ : 거기에 음의 부호를 붙이면 가장 가파르게 / 최대로 [[감소,decrement]]하는 방향? -> [[기울기하강,gradient_descent]]
       [[기울기하강,gradient_descent]]
       Opp: [[기울기하강,gradient_descent]]
• 신경망,neural_network . . . . 3 matches
       그렇다면 [[가중값,weight]] parameter를 어떻게 찾는가? 활성화함수가 nonlinear이고 layer들로 얽혀있어서 이건 non-convex optimization이다(opp. [[볼록최적화,convex_optimization]]? chk) - 그래서 일반적으로 global_optimum을 찾는 것은 불가능하다. 보통 [[기울기하강,gradient_descent]](curr at [[기울기,gradient#s-1]]) 방법을 써서 적당한 값을 찾는다.
       parameter를 update하기 위해 [[역전파,backpropagation]](writing) algorithm을 주로 쓴다. 이건 NN에서 [[기울기하강,gradient_descent]]을 [[연쇄법칙,chain_rule]]을 써서 단순화시킨 것에 지나지 않는다. ... 마지막 decision_layer에서 (우리가 실제로 원하는) target output과 (현재 네트워크가 만든) estimated output끼리의 [[손실함수,loss_function]]를 계산하여 그 값을 [[최소화,minimization]]하는 방식을 쓴다.
       ... 이후 [[기울기하강,gradient_descent]] 등등 언급(skipped, or 해당페이지에 적음)
• Class_2023_1 . . . . 2 matches
       두 인기있는 테크닉은 [[기울기하강,gradient_descent]] and [[역전파,backpropagation]] - [[반복,interation]]식의.
       [[기울기하강,gradient_descent]]
• 최적화,optimization . . . . 2 matches
        이후 다양한 주제 간략히 설명 e.g. [[볼록최적화,convex_optimization]] [[기울기하강,gradient_descent]] conditional_gradient coordinate_descent knapsack
       [[기울기하강,gradient_descent]]
• 퍼셉트론,perceptron . . . . 2 matches
       다차원 입출력 사이의 관계를 다루는 문제는 간단하지 않음 - [[오차역전파,error_backpropagation]] { 오차역전파 알고리즘 1986년 Nature. 데이비드 러멜하트David Rumelhart, 제프리 힌튼Geoffrey Hinton, 로날드 윌리엄스Ronald Willams } 알고리즘으로 해결. 오차(loss)([[손실함수,loss_function]]?)를 정의하고 [[기울기하강,gradient_descent]]법으로 매개변수를 계산/갱신. [[연쇄법칙,chain_rule]] 등장.
       [[확률적기울기하강,stochastic_gradient_descent]](SGD).
• 활성화함수,activation_function . . . . 2 matches
       [[기울기하강,gradient_descent]]
       너무 작아져서(vanish), [[기울기하강,gradient_descent]]을 쓸 수 없게 되는 문제점. output layer에 너무 적게 영향을 끼치는?
• 미적분,calculus . . . . 1 match
       [[기울기하강,gradient_descent]]을 사용할 때, convex 함수([[볼록함수,convex_function]])와 non-convex 함수에서 탐색한 [[해,solution]]는 큰 차이를 갖는다.
• 비용함수,cost_function . . . . 1 match
        gradient descent method: [[기울기하강,gradient_descent]]방법
• 생성모형,generative_model . . . . 1 match
       수학적으로 [[오목함수,concave_function]]라는 얘기 하고나서 [[기울기하강,gradient_descent]] 수식 서술. ([[기울기,gradient]] 식 생략)
• 수치해석,numerical_analysis . . . . 1 match
        차원을 줄여나가면서 해를 찾으므로, [[기울기하강,gradient_descent]]법의 속도문제를 해결합 수 있다고.
• 연쇄법칙,chain_rule . . . . 1 match
       [[기울기하강,gradient_descent]]
• 학습율,learning_rate . . . . 1 match
       [[기울기하강,gradient_descent]] 식에 나옴.

You can also click here to search title.