기울기 소실
기울기 소실 문제 vanishing gradient problem
AKA 기울기 소멸

활성화함수,activation_function로
시그모이드함수,sigmoid_function를 사용할 때 나타남
그래서 ReLU가 sigmoid를 대체.

MKLINK
gradient_clipping
{
gradient_clipping을 하는 이유는 학습 중 기울기소실,gradient_vanishing이나 gradient_exploding을 방지하기 위함.

https://eehoeskrap.tistory.com/582

... Google:gradient_clipping Naver:gradient_clipping
}

LSTM도 이걸 해결함. .... via [https]AI 용어사전: LSTM(https://terms.naver.com/entry.naver?docId=6653450&cid=69974&categoryId=69974)

ResNet도 이것을 해결하기 위해 나온? chk

Compare:
반대인 기울기 폭주 / 폭발 (gradient_exploding) { Google:gradient exploding }

WpKo:기울기_소멸_문제
WpEn:Vanishing_gradient_problem

... Google:gradient vanishing

Up: 기울기,gradient
Retrieved from http://tomoyo.ivyro.net/123/wiki.php/기울기소실,gradient_vanishing
last modified 2023-06-13 06:06:59