보통, 기계학습,machine_learning에서 둘은 비슷한 의미지만
single training set에는 loss function,
여러 training set에는 cost function이라 하는 듯.
single training set에는 loss function,
여러 training set에는 cost function이라 하는 듯.
ML쪽에서 cost vs loss 는 크게 다른 것은 아님. 구분이 무의미할지도.. Google ML glossary에선 동의어로 처리.
목적함수,objective_function(writing)
대충, (학습된 NN의 출력)과 (정답)의 차이,difference로 계산된다는 (그 차이 값이 손실,loss?)그런 점이 비슷한데/같은데, ...tbw
tmp ref. https://developers.google.com/machine-learning/glossary?hl=ko#objective-function
and objective.function definition
오차,error와 밀접한데 정확한 관계가?and objective.function definition
대충, (학습된 NN의 출력)과 (정답)의 차이,difference로 계산된다는 (그 차이 값이 손실,loss?)그런 점이 비슷한데/같은데, ...tbw
(너무 당연, del ok)
(손실,loss 비용,cost 오차,error같은) 부정적 대상을 이름으로 한 함수는 그 최소,minimum 최소값,minimum_value을 구하는 것이 주된 목표
물론, 긍정적 대상 (ex. 이득,gain?? 이익,profit? .... TBW) 을 이름으로 한 함수는 그 최대,maximum 최대값,maximum_value을 구하는 것이 주된 목표....? (물론 둘을 변환하는 것은 매우 간단)
when 최적화,optimization할 때, i.e. 최적화문제,optimization_problem를 해결할 때.
(손실,loss 비용,cost 오차,error같은) 부정적 대상을 이름으로 한 함수는 그 최소,minimum 최소값,minimum_value을 구하는 것이 주된 목표
물론, 긍정적 대상 (ex. 이득,gain?? 이익,profit? .... TBW) 을 이름으로 한 함수는 그 최대,maximum 최대값,maximum_value을 구하는 것이 주된 목표....? (물론 둘을 변환하는 것은 매우 간단)
when 최적화,optimization할 때, i.e. 최적화문제,optimization_problem를 해결할 때.
list of loss functions
일반적으로 사용되는 loss functions // TMP CLEANUP
교차엔트로피오차 cross entropy error CEE
aka cross-entropy_loss ?
여기서
: one-hot_encoding 으로 표현된 정답 레이블
결국 정답(t=1)일 때 softmax { curr. 소프트맥스함수,softmax_function } 추정 값에 대한 자연로그 { curr. 로그,log }를 계산하게 됨.
aka cross-entropy_loss ?
여기서
: one-hot_encoding 으로 표현된 정답 레이블
결국 정답(t=1)일 때 softmax { curr. 소프트맥스함수,softmax_function } 추정 값에 대한 자연로그 { curr. 로그,log }를 계산하게 됨.
다양한 이들 function의 구체적 예 까지 설명한 곳 (en)
https://medium.com/@zeeshanmulla/cost-activation-loss-function-neural-network-deep-learning-what-are-these-91167825a4de
https://medium.com/@zeeshanmulla/cost-activation-loss-function-neural-network-deep-learning-what-are-these-91167825a4de
tmp from http://sanghyukchun.github.io/74/
문단 "Backpropagation Algorithm"; 매우대충요약, TOCLEANUP or DEL OK
{
rel. 신경망,neural_network의 가중값,weight parameter를 update하는 역전파,backpropagation 알고리듬에서 used...
(최적화,optimization문제에선) (우리가 실제로 원하는) target output과 (현재 네트워크가 만든) estimated output끼리의 loss function 값을 최소화,minimization하는 방식을 취하는데 일반적으로 많이 쓰이는 loss에는 다음 함수들이 있다. 일단
d차원 target output을
문단 "Backpropagation Algorithm"; 매우대충요약, TOCLEANUP or DEL OK
{
rel. 신경망,neural_network의 가중값,weight parameter를 update하는 역전파,backpropagation 알고리듬에서 used...
(최적화,optimization문제에선) (우리가 실제로 원하는) target output과 (현재 네트워크가 만든) estimated output끼리의 loss function 값을 최소화,minimization하는 방식을 취하는데 일반적으로 많이 쓰이는 loss에는 다음 함수들이 있다. 일단
d차원 target output을
로,
estimated output을 로 정의하면
- sum_of_squares_loss ? squares_sum_loss ? Euclidean_loss ? ... sum.of.squares.loss euclidean.loss
- softmax_loss ... softmax_loss
- cross_entropy_loss or cross-entropy_loss ... cross entropy loss cross entropy loss ... 교차엔트로피,cross_entropy 손실,loss ... pagename 교차엔트로피손실,cross_entropy_loss ? abbr. CEL ?
- hinge_loss ... hinge_loss
.... // 의 점은 내적,inner_product
Bmks en
Google ML Glossary에서
{
https://developers.google.com/machine-learning/glossary?hl=ko#l
Google ML Glossary에서
{
https://developers.google.com/machine-learning/glossary?hl=ko#l
저기서 설명: L1_loss L1_regularization L2_loss L2_regularization
mklink: 이름만 봐도 거리,distance 노름,norm 측도,measure 관련이며 ... regularization(pagename은 아마 정칙화,regularization or 정규화,regularization 둘중 하나로..) lasso ridge ...
그리고 L2_loss 최소화 - rel. least_squares_regression LSR .... rel. 최소제곱,least_square
https://developers.google.com/machine-learning/glossary?hl=ko#lossmklink: 이름만 봐도 거리,distance 노름,norm 측도,measure 관련이며 ... regularization(pagename은 아마 정칙화,regularization or 정규화,regularization 둘중 하나로..) lasso ridge ...
그리고 L2_loss 최소화 - rel. least_squares_regression LSR .... rel. 최소제곱,least_square
바로 아래 loss_curve loss_surface 아주짧은설명이어짐
}