#noindex AKA '''과적합, 과학습, 과적응''' 과대적합과 [[과소적합,underfitting]] { WpKo:과소적합 WtEn:underfitting ? Ndict:underfitting } 이라는 단어도 쓰임. 기타 과최적화 오버피팅 과잉수렴 ... 한 데이터셋에만 지나치게 최적화된 상태 학습 데이터에 대해 과하게 학습하여 실제 데이터에 대한 오차가 증가하는 현상. ##윗줄 from [* 마스터 알고리즘] (See [[신경망,neural_network]] for 저적합과의 비교 및 그림 설명) https://i.imgur.com/1OuGGwe.png ([[https://blog.naver.com/team_deot/223243911469 src]]) [[훈련,training]]횟수가 너무 많으면 '''overfitting'''되어 훈련시의 [[정확도,accuracy]]는 높아져도 실제 정확도는 떨어질 수 있다 이렇게. https://i.imgur.com/KZkSrw4.png 그래서 [[early_stopping]]이 필요? = 그냥 생각/느낌, chk/delme = [[모델,model]]이 ~~너무 쓸데없이~~ 필요 이상으로 ~~복잡해서~~ 정교해져서 쓸모가 없어진?? = 해결책 = [[정칙화,regularization]] - writing { https://i.imgur.com/tXhuSSd.png [[과적합,overfitting]]의 해결방법 중 하나. 개념 penalty Google:penalty+regularization 비교: [[dropout]] - writing } [[dropout]]은 '''과적합'''의 대응책/해결책 중 하나. { 드롭아웃 드랍아웃 번역?? '''과적합'''의 대응책/해결책 중 하나. 다른 방법: [[batch_normalization]]이 '''dropout'''을 대신할 수도 있다. QQQ 이건 인간 뇌의 신경세포 사멸이나 [[기억,memory]]의 망각과 구체적으로/정확히 어떤 관련이 있는건지... ... Google:dropout Naver:dropout } [[data_augmentation]] / [[image_augmentation]] 도 '''overfitting'''의 대응책 ?? { pagename TBD. 확대 증가 증대 늘리기 늘림 부풀리기 부풀림 ... 중에 뭘로 번역하는게 최선? ... Ndict:augmentation } 어디서 본 비유: 수능을 잘 보기 위해 기출문제의 답을 전부 외워버렸다. (그래서 똑같이 다시 나오면 완벽히 맞추지만, 문제가 조금만 변형되거나 신 유형이 나오면 대처를 못한다.) '''과적합'''된 NN은 더 일반적인 경우, [[일반화,generalization]]된 경우에 대한 대처 능력이 떨어진다. = Examples = // from 마스터 알고리즘 바이블 코드,,Bible Code,, : 충분히 긴 내용이라면 성경이 아닌 어떤 책이든 예측을 확실히 발견하는 방법은 수없이 많다. "변수가 네 개면 코끼리 모양의 그래프에 맞는 수식을 구할 수 있고 변수가 다섯 개면 코끼리가 코를 실룩실룩 움직이는 모양을 나타내는 수식도 구할 수 있다." - John von Neumann 원문을 찾아보니 [[https://www.causeweb.org/cause/resources/library/r1951 Quote: von Neumann on Overfitting]] 그리고 실제로 찾은 곡선 : https://www.johndcook.com/blog/2011/06/21/how-to-fit-an-elephant/ Google:four+five+parameter+elephant+neumann = bmks ko = Machine learning 스터디 (3) Overfitting - README (2014) http://sanghyukchun.github.io/59/ 딥 러닝을 이용한 자연어 처리 입문 / 07-06 과적합(Overfitting)을 막는 방법들 https://wikidocs.net/61374 ---- AKA: '''과대적합''' 반대: 과소적합 underfitting ---- WpKo:과적합 WpEn:Overfitting http://mlwiki.org/index.php/Overfitting