#noindex
비교: [[비용함수,cost_function]]

보통, [[기계학습,machine_learning]]에서 둘은 비슷한 의미지만
single training set에는 '''loss function''',
여러 training set에는 cost function이라 하는 듯.

ML쪽에서 cost vs loss 는 크게 다른 것은 아님. 구분이 무의미할지도.. [[https://developers.google.com/machine-learning/glossary?hl=ko#cost Google ML glossary에선 동의어로 처리.]]

[[목적함수,objective_function]](writing)
 tmp ref. https://developers.google.com/machine-learning/glossary?hl=ko#objective-function
 and Google:objective.function+definition

[[오차,error]]와 밀접한데 정확한 관계가?
''대충, (학습된 NN의 출력)과 (정답)의 [[차이,difference]]로 계산된다는 (그 차이 값이 [[손실,loss]]?)그런 점이 비슷한데/같은데, ...tbw''

----
list of loss functions

일반적으로 사용되는 '''loss functions''' // TMP CLEANUP

[[평균제곱오차,mean_square_error,MSE]]

오차제곱합 sum of squares for error [[SSE]]
$E=\frac12\sum_k (y_k - t_k)^2$
여기서
$y_k$ : 신경망이 추정한 값
$t_k$ : 정답 레이블에 의한 값

교차엔트로피오차 cross entropy error [[CEE]]
$E=-\sum_k t_k \log y_k$
여기서
$t$ : one-hot_encoding 으로 표현된 정답 레이블
결국 정답(t=1)일 때 [[softmax]] { curr. [[소프트맥스함수,softmax_function]] } 추정 값에 대한 [[자연로그]] { curr. [[로그,log]] }를 계산하게 됨.

... Google:list+of+loss+functions

----
이하는 Google:"loss function cost function difference" [[Date(2021-01-05T10:25:04)]] 검색결과 중 몇가지임.

세 함수 비교한 곳 (ko)
https://ganghee-lee.tistory.com/28
https://ggodong.tistory.com/15

(en)
https://stats.stackexchange.com/questions/179026/objective-function-cost-function-loss-function-are-they-the-same-thing

다양한 이들 function의 구체적 예 까지 설명한 곳 (en)
https://medium.com/@zeeshanmulla/cost-activation-loss-function-neural-network-deep-learning-what-are-these-91167825a4de

----
https://www.youtube.com/watch?v=5WSff-U2muI
20분짜리 개념설명동영상 (ko)

tmp from http://sanghyukchun.github.io/74/
문단 "Backpropagation Algorithm"; 매우대충요약, TOCLEANUP or DEL OK
{
rel. [[신경망,neural_network]]의 [[가중값,weight]] parameter를 update하는 [[역전파,backpropagation]] 알고리듬에서 used...
([[최적화,optimization]]문제에선) (우리가 실제로 원하는) target output과 (현재 네트워크가 만든) estimated output끼리의 '''loss function''' 값을 [[최소화,minimization]]하는 방식을 취하는데 일반적으로 많이 쓰이는 loss에는 다음 함수들이 있다. 일단
d차원 target output을
 $t=[t_1,\cdots,t_d]$ 로,
estimated output을
 $x=[x_1,\cdots,x_d]$ 로 정의하면

 * sum_of_squares_loss ? squares_sum_loss ? Euclidean_loss ? ... Google:sum.of.squares.loss Google:euclidean.loss
 $\sum_{i=1}^d (x_i-t_i)^2$
 * softmax_loss ... Google:softmax_loss
 $-\sum_{i=1}^d\left[ t_i \log \left( \frac{e^{x_i}}{\sum_{j=1}^d e^{x_j}} \right) + (1-t_i) \log\left(1-\frac{e^{x_i}}{\sum_{j=1}^d e^{x_j}} \right)\right]$
 * cross_entropy_loss ... Google:cross_entropy_loss
 $\sum_{i=1}^d\left[ -t_i \log x_i - (1-t_i)\log(1-x_i) \right]$
 * hinge_loss ... Google:hinge_loss
 $\operatorname{max}(0,1-t\cdot x)$ .... // $t\cdot x$ 의 점은 [[내적,inner_product]]
}

----
Bmks en
Google ML Glossary에서
{
https://developers.google.com/machine-learning/glossary?hl=ko#l
 저기서 설명: L1_loss L1_regularization L2_loss L2_regularization
 mklink: 이름만 봐도 [[거리,distance]] [[노름,norm]] [[측도,measure]] 관련이며 ... [[regularization]](pagename은 아마 [[정칙화,regularization]] or [[정규화,regularization]] 둘중 하나로..) lasso ridge ...
 그리고 L2_loss 최소화 - rel. least_squares_regression LSR .... rel. [[최소제곱,least_square]]

https://developers.google.com/machine-learning/glossary?hl=ko#loss
 바로 아래 loss_curve loss_surface 아주짧은설명이어짐
}

----
[[WpKo:손실_함수]]
[[WpEn:Loss_function]]

[[손실,loss]]
{
[[로그손실,log_loss]]
}