손실함수,loss_function


보통, 기계학습,machine_learning에서 둘은 비슷한 의미지만
single training set에는 loss function,
여러 training set에는 cost function이라 하는 듯.

ML쪽에서 cost vs loss 는 크게 다른 것은 아님. 구분이 무의미할지도.. [https]Google ML glossary에선 동의어로 처리.

목적함수,objective_function(writing)
오차,error와 밀접한데 정확한 관계가?
대충, (학습된 NN의 출력)과 (정답)의 차이,difference로 계산된다는 (그 차이 값이 손실,loss?)그런 점이 비슷한데/같은데, ...tbw

(너무 당연, del ok)
(손실,loss 비용,cost 오차,error같은) 부정적 대상을 이름으로 한 함수는 그 최소,minimum 최소값,minimum_value을 구하는 것이 주된 목표
물론, 긍정적 대상 (ex. 이득,gain?? 이익,profit? .... TBW) 을 이름으로 한 함수는 그 최대,maximum 최대값,maximum_value을 구하는 것이 주된 목표....? (물론 둘을 변환하는 것은 매우 간단)
when 최적화,optimization할 때, i.e. 최적화문제,optimization_problem를 해결할 때.


list of loss functions

일반적으로 사용되는 loss functions // TMP CLEANUP


오차제곱합 sum of squares for error SSE
$E=\frac12\sum_k (y_k - t_k)^2$
여기서
$y_k$ : 신경망이 추정한 값
$t_k$ : 정답 레이블에 의한 값

교차엔트로피오차 cross entropy error CEE
aka cross-entropy_loss ?
$E=-\sum_k t_k \log y_k$
여기서
$t$ : one-hot_encoding 으로 표현된 정답 레이블
결국 정답(t=1)일 때 softmax { curr. 소프트맥스함수,softmax_function } 추정 값에 대한 자연로그 { curr. 로그,log }를 계산하게 됨.



이하는 Google:loss function cost function difference 2021-01-05 검색결과 중 몇가지임.





https://www.youtube.com/watch?v=5WSff-U2muI
20분짜리 개념설명동영상 (ko)

tmp from http://sanghyukchun.github.io/74/
문단 "Backpropagation Algorithm"; 매우대충요약, TOCLEANUP or DEL OK
{
rel. 신경망,neural_network가중값,weight parameter를 update하는 역전파,backpropagation 알고리듬에서 used...
(최적화,optimization문제에선) (우리가 실제로 원하는) target output과 (현재 네트워크가 만든) estimated output끼리의 loss function 값을 최소화,minimization하는 방식을 취하는데 일반적으로 많이 쓰이는 loss에는 다음 함수들이 있다. 일단
d차원 target output을
$t=[t_1,\cdots,t_d]$ 로,
estimated output을
$x=[x_1,\cdots,x_d]$ 로 정의하면

}


Bmks en
Google ML Glossary에서
{
https://developers.google.com/machine-learning/glossary?hl=ko#l
저기서 설명: L1_loss L1_regularization L2_loss L2_regularization
mklink: 이름만 봐도 거리,distance 노름,norm 측도,measure 관련이며 ... regularization(pagename은 아마 정칙화,regularization or 정규화,regularization 둘중 하나로..) lasso ridge ...
그리고 L2_loss 최소화 - rel. least_squares_regression LSR .... rel. 최소제곱,least_square

https://developers.google.com/machine-learning/glossary?hl=ko#loss
바로 아래 loss_curve loss_surface 아주짧은설명이어짐
}