AKA 과적합, 과학습, 과적응
과대적합과 과소적합,underfitting {
과소적합 
underfitting ? 
underfitting } 이라는 단어도 쓰임.
기타 과최적화 오버피팅 과잉수렴 ...
과대적합과 과소적합,underfitting {
과소적합 underfitting ? underfitting } 이라는 단어도 쓰임.기타 과최적화 오버피팅 과잉수렴 ...
한 데이터셋에만 지나치게 최적화된 상태
학습 데이터에 대해 과하게 학습하여 실제 데이터에 대한 오차가 증가하는 현상.
(See 신경망,neural_network for 저적합과의 비교 및 그림 설명)
훈련,training횟수가 너무 많으면 overfitting되어 훈련시의 정확도,accuracy는 높아져도 실제 정확도는 떨어질 수 있다
이렇게.
그래서 early_stopping이 필요?
이렇게.
그래서 early_stopping이 필요?
해결책 ¶
과적합,overfitting의 해결방법 중 하나.
}
data_augmentation / image_augmentation 도 overfitting의 대응책 ??
{
pagename TBD. 확대 증가 증대 늘리기 늘림 부풀리기 부풀림 ... 중에 뭘로 번역하는게 최선? ...augmentation
}
{
pagename TBD. 확대 증가 증대 늘리기 늘림 부풀리기 부풀림 ... 중에 뭘로 번역하는게 최선? ...
augmentation}
어디서 본 비유:
수능을 잘 보기 위해 기출문제의 답을 전부 외워버렸다.
(그래서 똑같이 다시 나오면 완벽히 맞추지만, 문제가 조금만 변형되거나 신 유형이 나오면 대처를 못한다.)
수능을 잘 보기 위해 기출문제의 답을 전부 외워버렸다.
(그래서 똑같이 다시 나오면 완벽히 맞추지만, 문제가 조금만 변형되거나 신 유형이 나오면 대처를 못한다.)
과적합된 NN은 더 일반적인 경우, 일반화,generalization된 경우에 대한 대처 능력이 떨어진다.
Examples ¶
// from 마스터 알고리즘
바이블 코드Bible Code : 충분히 긴 내용이라면 성경이 아닌 어떤 책이든 예측을 확실히 발견하는 방법은 수없이 많다.
바이블 코드Bible Code : 충분히 긴 내용이라면 성경이 아닌 어떤 책이든 예측을 확실히 발견하는 방법은 수없이 많다.
"변수가 네 개면 코끼리 모양의 그래프에 맞는 수식을 구할 수 있고 변수가 다섯 개면 코끼리가 코를 실룩실룩 움직이는 모양을 나타내는 수식도 구할 수 있다." - John von Neumann
원문을 찾아보니 ![[https]](/123/imgs/https.png)
Quote: von Neumann on Overfitting
그리고 실제로 찾은 곡선 : https://www.johndcook.com/blog/2011/06/21/how-to-fit-an-elephant/
four five parameter elephant neumann
2024-09-17
[2407.07909] Fitting an Elephant with Four non-Zero Parameters
https://arxiv.org/abs/2407.07909
Quote: von Neumann on Overfitting그리고 실제로 찾은 곡선 : https://www.johndcook.com/blog/2011/06/21/how-to-fit-an-elephant/
four five parameter elephant neumann2024-09-17
[2407.07909] Fitting an Elephant with Four non-Zero Parameters
https://arxiv.org/abs/2407.07909
