Difference between r1.7 and the current

[[최적화,optimization]] algorithm ([[optimization_algorithm]]) 에서,
[[hyperparameter]]의 일종.
[[손실함수,loss_function]]의 [[최소,minimum]]으로 갈 때 step size를 결정함.
a hyperparameter that determines the step size in adjusting the weights
(Kwak, Slide 3, p18)
$w_{t+1}=w_t - \alpha L'(w_t)$
$0<\alpha<1$
더 섬세하고 촘촘히 : small $\alpha$
더 빠르게 : large $\alpha$ [* 김성범 https://youtu.be/8300noBbCRU?t=186]
갱신하는 정도/양을 결정. 함수 값이 낮아지는 곳으로 얼마나 이동할지 즉 보폭(step size)을 정하는 역할.
너무 크거나 작으면 곤란.

WpEn:Learning_rate

Up: [[비율,rate]] [[기계학습,machine_learning]] [[통계,statistics]] [[hyperparameter]](하이퍼파라미터 or 초매개변수) [[학습,learning]]