#noindex
비교: [[비용함수,cost_function]]

보통, [[기계학습,machine_learning]]에서 둘은 비슷한 의미지만
single training set에는 '''loss function''',
여러 training set에는 cost function이라 하는 듯.

ML쪽에서 cost vs loss 는 크게 다른 것은 아님. 구분이 무의미할지도.. [[https://developers.google.com/machine-learning/glossary?hl=ko#cost Google ML glossary에선 동의어로 처리.]]

[[목적함수,objective_function]](writing)
 tmp ref. https://developers.google.com/machine-learning/glossary?hl=ko#objective-function
 and Google:objective.function+definition

[[오차,error]]와 밀접한데 정확한 관계가?
''대충, (학습된 NN의 출력)과 (정답)의 [[차이,difference]]로 계산된다는 (그 차이 값이 [[손실,loss]]?)그런 점이 비슷한데/같은데, ...tbw''

(너무 당연, del ok)
([[손실,loss]] [[비용,cost]] [[오차,error]]같은) 부정적 대상을 이름으로 한 함수는 그 [[최소,minimum]] [[최소값,minimum_value]]을 구하는 것이 주된 목표
물론, 긍정적 대상 (ex. [[이득,gain]]?? [[이익,profit]]? .... TBW) 을 이름으로 한 함수는 그 [[최대,maximum]] [[최대값,maximum_value]]을 구하는 것이 주된 목표....? (물론 둘을 변환하는 것은 매우 간단)
when [[최적화,optimization]]할 때, i.e. [[최적화문제,optimization_problem]]를 해결할 때.

----
list of loss functions

일반적으로 사용되는 '''loss functions''' // TMP CLEANUP

[[평균제곱오차,mean_square_error,MSE]]

오차제곱합 sum of squares for error [[SSE]]
$E=\frac12\sum_k (y_k - t_k)^2$
여기서
$y_k$ : 신경망이 추정한 값
$t_k$ : 정답 레이블에 의한 값

교차엔트로피오차 cross entropy error [[CEE]]
aka cross-entropy_loss ?
$E=-\sum_k t_k \log y_k$
여기서
$t$ : one-hot_encoding 으로 표현된 정답 레이블
결국 정답(t=1)일 때 [[softmax]] { curr. [[소프트맥스함수,softmax_function]] } 추정 값에 대한 [[자연로그]] { curr. [[로그,log]] }를 계산하게 됨.

... Google:list+of+loss+functions

----
이하는 Google:"loss function cost function difference" [[Date(2021-01-05T10:25:04)]] 검색결과 중 몇가지임.

세 함수 비교한 곳 (ko)
https://ganghee-lee.tistory.com/28
https://ggodong.tistory.com/15

(en)
https://stats.stackexchange.com/questions/179026/objective-function-cost-function-loss-function-are-they-the-same-thing

다양한 이들 function의 구체적 예 까지 설명한 곳 (en)
https://medium.com/@zeeshanmulla/cost-activation-loss-function-neural-network-deep-learning-what-are-these-91167825a4de

----
https://www.youtube.com/watch?v=5WSff-U2muI
20분짜리 개념설명동영상 (ko)

tmp from http://sanghyukchun.github.io/74/
문단 "Backpropagation Algorithm"; 매우대충요약, TOCLEANUP or DEL OK
{
rel. [[신경망,neural_network]]의 [[가중값,weight]] parameter를 update하는 [[역전파,backpropagation]] 알고리듬에서 used...
([[최적화,optimization]]문제에선) (우리가 실제로 원하는) target output과 (현재 네트워크가 만든) estimated output끼리의 '''loss function''' 값을 [[최소화,minimization]]하는 방식을 취하는데 일반적으로 많이 쓰이는 loss에는 다음 함수들이 있다. 일단
d차원 target output을
 $t=[t_1,\cdots,t_d]$ 로,
estimated output을
 $x=[x_1,\cdots,x_d]$ 로 정의하면

 * sum_of_squares_loss ? squares_sum_loss ? Euclidean_loss ? ... Google:sum.of.squares.loss Google:euclidean.loss
 $\sum_{i=1}^d (x_i-t_i)^2$
 * softmax_loss ... Google:softmax_loss
 $-\sum_{i=1}^d\left[ t_i \log \left( \frac{e^{x_i}}{\sum_{j=1}^d e^{x_j}} \right) + (1-t_i) \log\left(1-\frac{e^{x_i}}{\sum_{j=1}^d e^{x_j}} \right)\right]$
 * cross_entropy_loss or cross-entropy_loss ... Google:"cross entropy loss" Naver:"cross entropy loss"  ... [[교차엔트로피,cross_entropy]] [[손실,loss]] ... pagename [[교차엔트로피손실,cross_entropy_loss]] ? abbr. CEL ?
 $\sum_{i=1}^d\left[ -t_i \log x_i - (1-t_i)\log(1-x_i) \right]$
 * hinge_loss ... Google:hinge_loss
 $\operatorname{max}(0,1-t\cdot x)$ .... // $t\cdot x$ 의 점은 [[내적,inner_product]]
}

----
Bmks en
Google ML Glossary에서
{
https://developers.google.com/machine-learning/glossary?hl=ko#l
 저기서 설명: L1_loss L1_regularization L2_loss L2_regularization
 mklink: 이름만 봐도 [[거리,distance]] [[노름,norm]] [[측도,measure]] 관련이며 ... [[regularization]](pagename은 아마 [[정칙화,regularization]] or [[정규화,regularization]] 둘중 하나로..) lasso ridge ...
 그리고 L2_loss 최소화 - rel. least_squares_regression LSR .... rel. [[최소제곱,least_square]]

https://developers.google.com/machine-learning/glossary?hl=ko#loss
 바로 아래 loss_curve loss_surface 아주짧은설명이어짐
}

----
[[WpKo:손실_함수]]
[[WpEn:Loss_function]]

Up; [[손실,loss]] - w [[함수,function]]
{
Sub:
[[로그손실,log_loss]] - [[로그,log]] - w
}
MKL [[로그손실,log_loss]]