활성화함수,activation_function

...로 많이 쓰이는 것은 대충 몇가지 나열하면
시그모이드함수,sigmoid_function σ(x)
$\frac1{1+e^{-x}}$
ReLU함수 - 함수,function#s-15 max(0, x)
{
rectified linear unit
번역들 : 교정된 선형 단위 함수

이것은 시그모이드함수,sigmoid_function의 기울기소실,gradient_vanishing 현상의 해결책.
}
Leaky ReLU - leaky_ReLU - LReLU ? ... max(0.1x, x) etc
max(0.01*x, x)
http://www.gabormelli.com/RKB/Leaky_Rectified_Linear_Activation_(LReLU)_Function
parametric ReLU - parametric_ReLU - PReLU ?
ELU - exponential linear unit
$\begin{cases}x&x\ge 0\\ \alpha(e^x-1)&x<0\end{cases}$
http://www.gabormelli.com/RKB/Exponential_Linear_Activation_Function
SELU - scaled ELU - scaled exponential linear unit
maxout max(w1Tx + b1, w2Tx + b2)
tanh = hyperbolic tangent - 쌍곡선함수,hyperbolic_function 중 하나 tanh(x)
소프트맥스함수,softmax_function


[edit]

MKLINK

threshold { 번역들: 임계값, 문턱, ... } 을 넘으면 (이상? 초과?) 발화(fire)/spike/... = 다음 단계의 뉴런,neuron으로 신호(메시지?) 전달.
가중값,weight
가중합,weighted_sum
bias ...편향,bias ? 바이어스,bias ?
퍼셉트론,perceptron
layer - input_layer hidden_layer output_layer
실수,real_number를 받아 대소비교를 해서 즉 조건,condition에 따라서 boolean output을 하는, 즉 on/off 스위치,switch 같은 함수? chk

대충, 인공신경망,artificial_neural_network,ANN ie 신경망,neural_network 및 perceptron의 기본 원리는
(이전 층에서 온) 입력,input $x_1,x_2$ 에 대해
가중값,weight $w_1,w_2$ 를 적용시켜(곱해서) (참고로 선형결합,linear_combination과 매우 비슷) 그 합(가중합,weighted_sum)을
  • threshold( 기호는 많이 보이는게 $\theta$ 인데 'th'에서 온 듯? )
  • 또는 bias ( threshold & bias는 기본적으로 동일한 것인데, 혹시 단어의 usage 차이나 작은 의미차 같은게 있는지 checkout. ... Google:threshold bias )
와 비교하여 (다음 층) 출력,output으로 1을 보낼지 0을 보낼지 결정하는.


[edit]

related Topics

기울기,gradient
기울기하강,gradient_descent
vanishing_gradient_problem or gradient_vanishing ... 기울기소실,gradient_vanishing
{
보이는 번역들: 기울기 소멸/소실 문제, 경사 소실 문제,

신경망,neural_network에서 기울기,gradient값이 너무 작아도 커도 안되는데 기울기 소멸 문제는 그 중 전자:
너무 작아져서(vanish), 기울기하강,gradient_descent을 쓸 수 없게 되는 문제점. output layer에 너무 적게 영향을 끼치는?

training이 멈춤, weight가 업데이트되지 않음 - chk

활성화함수,activation_function중에서 시그모이드함수,sigmoid_function이 이 문제점을 갖고 있으며 ReLU가 이걸 좀 해결해줌.
기타 다양한 이유.






[edit]

tmp bmks