과적합,overfitting

AKA 과적합, 과학습, 과적응
과대적합과 과소적합,underfitting { WpKo:과소적합 WtEn:underfitting ? Ndict:underfitting } 이라는 단어도 쓰임.
기타 과최적화 오버피팅 과잉수렴 ...

한 데이터셋에만 지나치게 최적화된 상태

학습 데이터에 대해 과하게 학습하여 실제 데이터에 대한 오차가 증가하는 현상.

(See 신경망,neural_network for 저적합과의 비교 및 그림 설명)

https://i.imgur.com/1OuGGwe.png
([https]src)

훈련,training횟수가 너무 많으면 overfitting되어 훈련시의 정확도,accuracy는 높아져도 실제 정확도는 떨어질 수 있다
이렇게.
https://i.imgur.com/KZkSrw4.png

그래서 early_stopping이 필요?

그냥 생각/느낌, chk/delme

모델,model너무 쓸데없이 필요 이상으로 복잡해서 정교해져서 쓸모가 없어진??

해결책


과적합,overfitting의 해결방법 중 하나.

개념
penalty
비교:
dropout - writing

}

dropout과적합의 대응책/해결책 중 하나.
{
드롭아웃
드랍아웃
번역??

과적합의 대응책/해결책 중 하나.
다른 방법:
배치정규화,batch_normalizationdropout을 대신할 수도 있다.

QQQ 이건 인간 뇌의 신경세포 사멸이나 기억,memory의 망각과 구체적으로/정확히 어떤 관련이 있는건지...
... Google:dropout Naver:dropout
}

data_augmentation / image_augmentationoverfitting의 대응책 ??
{
pagename TBD. 확대 증가 증대 늘리기 늘림 부풀리기 부풀림 ... 중에 뭘로 번역하는게 최선? ... Ndict:augmentation
}

어디서 본 비유:
수능을 잘 보기 위해 기출문제의 답을 전부 외워버렸다.
(그래서 똑같이 다시 나오면 완벽히 맞추지만, 문제가 조금만 변형되거나 신 유형이 나오면 대처를 못한다.)

과적합된 NN은 더 일반적인 경우, 일반화,generalization된 경우에 대한 대처 능력이 떨어진다.

Examples

// from 마스터 알고리즘
바이블 코드Bible Code : 충분히 긴 내용이라면 성경이 아닌 어떤 책이든 예측을 확실히 발견하는 방법은 수없이 많다.

"변수가 네 개면 코끼리 모양의 그래프에 맞는 수식을 구할 수 있고 변수가 다섯 개면 코끼리가 코를 실룩실룩 움직이는 모양을 나타내는 수식도 구할 수 있다." - John von Neumann
원문을 찾아보니 [https]Quote: von Neumann on Overfitting
그리고 실제로 찾은 곡선 : https://www.johndcook.com/blog/2011/06/21/how-to-fit-an-elephant/
Google:four five parameter elephant neumann
2024-09-17
[2407.07909] Fitting an Elephant with Four non-Zero Parameters
https://arxiv.org/abs/2407.07909

bmks ko

Machine learning 스터디 (3) Overfitting - README (2014)
http://sanghyukchun.github.io/59/

딥 러닝을 이용한 자연어 처리 입문 / 07-06 과적합(Overfitting)을 막는 방법들
https://wikidocs.net/61374


AKA: 과대적합

반대: 과소적합 underfitting