AKA '''가중치''' [[http://tomoyo.ivyro.net/123/wiki.php/asdf?action=fullsearch&value=%EA%B0%80%EC%A4%91%EC%B9%98&context=20&case=1 try backsrch 가중치]] [[기계학습,machine_learning]]에서 [[학습,learning]]이란 바로 [[신경망,neural_network]](ANN)의 '''weights'''를 조절하는 과정. Sub: [[가중평균,weighted_mean]] (... or [[가중평균,weighted_average]]) { TBW - 그냥 평균과 가중평균을 수식으로 비교해서 적을 것 ////현재 [[평균,mean,average]]에도 내용 있음. TOMERGE 가중평균 (← 가중평균의 넓은 의미) [[가중산술평균,weighted_arithmetic_mean]] (← 가중평균의 좁은 의미) ///QQQ 이게 = weighted_average ??? https://everything2.com/title/weighted+average [[질량중심,mass_center]] 무게중심 weight_center 이 이것의 일종? chk [[WpEn:Weighted_arithmetic_mean]] cf. [[산술평균,arithmetic_mean]] [[가중조화평균,weighted_harmonic_mean]] [[WpEn:Weighted_harmonic_mean]] cf. [[조화평균,harmonic_mean]] [[가중기하평균,weighted_geometric_mean]] [[WpEn:Weighted_geometric_mean]] cf. [[기하평균,geometric_mean]] //이상 세가지 모두 여기에 설명 있음 [[https://terms.naver.com/entry.naver?docId=3404932&ref=y&cid=47324&categoryId=47324 수학백과: 가중산술평균]] https://proofwiki.org/wiki/Definition:Weighted_Mean } [[가중합,weighted_sum]] - [[합,sum]] { 이것의 계산 방식은 [[벡터,vector]]의 [[내적,inner_product]]/[[스칼라곱,scalar_product,dot_product]]과 rel. 왜인지는 너무 명백하므로 생략. - 잠깐 써보면 { 전체 합이 1이 되는 벡터(이름이 있을텐데 뭐라고 하지? 암튼 전체가 [[하나,one]]. rel: [[단위,unit]], [[정규화,normalization]].) .. 예를 들어 $[0.6 \; 0.4]$ 와 내적을 하는 것은 전자에 60%, 후자에 40%의 가중치를 ...tbw } Ex. $\vec{w}=[w_1\;w_2\;w_3]$ $\vec{v}=[v_1\;v_2\;v_3]$ $\vec{w}\cdot\vec{v}=w_1v_1+w_2v_2+w_3v_3=\vec{v}\cdot\vec{w}$ 이 때, 다음과 같이 (합하기 / 일정 원소만 뽑아내기 / 노름 구하기)가 가능하다. $\bullet\;\vec{w}=\mathbb{1}$ (일벡터) 일 때, $\vec{w}\cdot\vec{v}$ 는 $\vec{v}$ 벡터의 원소들의 합 $\bullet\;\vec{w}=\vec{e_i}$ 일 때, $\vec{e_2}\cdot\vec{v}$ 는 $\vec{v_2}$ $\bullet\;\vec{w}=\vec{v}$ 일 때, $\vec{v}\cdot\vec{v}=||\vec{v}||^2$ .... [[가중값,weight]] [[합,sum]] } [[해밍_가중값,Hamming_weight]] weight_initialization Google:가중치.초기화 Google:weight.initialization [[그래프,graph]] or [[네트워크,network]] can be 'unweighted or weighted'. weighted_graph weighted_network : link(edge)별로 그에 해당하는 '''weight'''를 갖는다.[* Menczer, Network Sci, p15 아래 박스] ''그럼 unweighted_graph unweighted_network : weight가 없음? or 1로 고정? QQQ'' [[최단경로,shortest_path]]를 찾는 [[최단경로문제,shortest_path_problem]]에서 edge_weight - [[,edge]]의 '''weight''' path_weight - [[경로,path]]에 속하는 모든 간선(edge)의 값을 더한 값 ---- weight는 [[신경망,neural_network]]/[[퍼셉트론,perceptron]]의 경우 '연결세기'로도 번역. tmp; ([[뉴런,neuron]]/NN/etc.에서) via http://sanghyukchun.github.io/74/ { 문단 "Model of Neural Network:" [[신경망,neural_network]]에선, [[뉴런,neuron]]들이 node이고, 그 neuron들을 연결하는 [[시냅스,synapse]]가 edge이다. Edge마다 '''weight'''가 있게 된다. 위치 "다시 일반적인 neural network에 대해 생각해보자" ''rel. [[,bias]] 와의 관계 설명 - 활성화함수의 식에서 같이 나타남.'' [[활성화,activation]](다음 [[뉴런,neuron]]에 뭔가를 전달을 "할지 말지"? boolean_function? threshold가 있고 그에 따라 activate or dectivate? chk)조건을 표현하는 [[활성화함수,activation_function]] 설명에서, 일단 편의상 $t=\sum_i w_i x_i$ 라고 정의. ''(물론 $w_i$ 가 '''weight''')'' 일반적으로는 '''weight'''뿐만 아니라 bias도 고려해야 한다. 그 때 식은 $t=\sum_i(w_i x_i+b_i)$ 그리고 activation fn 예를 조금 들면 ('활성화함수'에 wrote, del ok) * [[시그모이드함수,sigmoid_function]] $f(t)=\frac1{1+e^{-t}}$ * tanh_function (is-a [[쌍곡선함수,hyperbolic_function]]) $f(t)=\frac{e^t-e^{-t}}{e^t+e^{-t}}$ * [[절대값함수,absolute_value_function]]? absolute_function? - curr at [[절대값,absolute_value#s-1]] $f(t)=\left\| t \right\|$ * ReLU_function - curr at [[함수,function#s-15]] $f(t)=\operatorname{max}(0,t)$ } [[가중값초기화,weight_initialization]] ... Google:weight+initialization is a [[초기화,initialization]] [[가중값xx,weight_decay]] xx는 감쇠, 감소... 붕괴는 너무 물리적인 decay의 번역?, 또 뭐있지? .... https://ko.d2l.ai/chapter_deep-learning-basics/weight-decay.html - '''가중치 감쇠''' ... Google:weight+decay 이 둘은 일단 tmp see https://velog.io/@cha-suyeon/DL-가중치-초기화Weight-Initialization%2D [[multiplicative_weight]] or multiplicative_weight_update (algorithm/method) { rel. [[mirror_descent]] Srch:multiplicative_weight Google:multiplicative_weight } 가중값함수? [[weight_function]] { https://proofwiki.org/wiki/Definition:Weight_Function } [[부호,code]]중에서 weighted code vs. unweighted code Ggl:"weighted code vs. unweighted code" weighted_code weighted code unweighted_code unweighted code / Ggl:"non-weighted code" 여기서 말하는 weight는 예를 들어 2진수에서 자리에 대한 weight는 오른쪽부터 1 2 4 8 16 32… * BCD code([[BCD,binary_coded_decimal]])는 네 자리 위치에 따라 저렇게 일정하므로 weighted code이며, * excess-3 code는 네 자리 위치에 따라 weight가 일정하지 않으므로 unweighted code. ---- Etc 같은 영단어: [[무게,weight]] 한국어 단어에 포함된 어근: [[값,value]] 다른 표현: Google:경중률 rel. ? [[,weighting]] { [[WpEn:Weighting]] } QQQ { [[weighting_factor]] 와 항상 같은건지 아님 다를 경우가 있는지 항상 [[weight_function]] = [[weighting_function]]인지 } [[WpEn:Weight_function]] https://mathworld.wolfram.com/Weight.html - 이건 위와 약간 포인트가 다름 Up: [[계수,coefficient]]? - weight는 항상 coeff.? 그럴 것 같은데...chk