기울기소실,gradient_vanishing

기울기 소실
기울기 소실 문제 vanishing gradient problem
AKA 기울기 소멸

활성화함수,activation_function로
시그모이드함수,sigmoid_function를 사용할 때 나타남
그래서 ReLU가 sigmoid를 대체.

MKLINK
gradient_clipping
{
gradient_clipping을 하는 이유는 학습 중 기울기소실,gradient_vanishing이나 gradient_exploding을 방지하기 위함.



LSTM도 이걸 해결함. .... via [https]AI 용어사전: LSTM

ResNet도 이것을 해결하기 위해 나온? chk

Compare:
반대인 기울기 폭주 / 폭발 (gradient_exploding) { Google:gradient exploding }