기울기소실,gradient_vanishing

Difference between r1.7 and the current

@@ -25,12 +25,11 @@
----
Compare:
반대인 기울기 폭주 / 폭발 (gradient_exploding) { Google:gradient+exploding }
Google:gradient+vanishing

WpKo:기울기_소멸_문제
WpEn:Vanishing_gradient_problem

... Google:gradient+vanishing

Up: [[기울기,gradient]]


기울기 소실
기울기 소실 문제 vanishing gradient problem
AKA 기울기 소멸

활성화함수,activation_function로
시그모이드함수,sigmoid_function를 사용할 때 나타남
그래서 ReLU가 sigmoid를 대체.

MKLINK
gradient_clipping
{
gradient_clipping을 하는 이유는 학습 중 기울기소실,gradient_vanishing이나 gradient_exploding을 방지하기 위함.



LSTM도 이걸 해결함. .... via [https]AI 용어사전: LSTM

ResNet도 이것을 해결하기 위해 나온? chk

Compare:
반대인 기울기 폭주 / 폭발 (gradient_exploding) { Google:gradient exploding }