노름,norm

벡터공간,vector_space의 원소들에 길이나 크기를 부여하는 함수,function.


열벡터,column_vector u의 norm은 (uTu)1/2로 계산하면 된다.
$\vec{u}=\begin{bmatrix}u_1\\u_2\\u_3\end{bmatrix}$ 일 때
$\vec{u}{}^{\top}\vec{u}=[u_1\;u_2\;u_3]\begin{bmatrix}u_1\\u_2\\u_3\end{bmatrix}=u_1^2+u_2^2+u_3^2$ 이고
$\vec{u}$norm
$\left\|\vec{u}\right\|=(\vec{u}{}^{\top}\vec{u})^{1/2}=\sqrt{u_1^2+u_2^2+u_3^2}$
via https://youtu.be/FCmH4MqbFGs


크기,size
카디널리티,cardinality
측도,measure 측정,measurement
과 관계는? 크기(1D 길이, 2D 넓이, 3D 부피, ...)를 추상화/일반화 한 거 맞음?


거리의 일반화가 metric(계량,metric 혹은 거리,metric, writing) (or 거리함수,distance_function)
크기,size의 일반화가 norm (src: Namu:노름(수학)#s-1)


절대값의 합은 L1 norm.
일반적인 norm은 L2 norm.
(비교, del ok)
제곱의 합의 제곱근 = norm (L2-norm only)
제곱의 평균의 제곱근 = rms (제곱평균제곱근,root_mean_square,RMS)


기호는 항상 $||\cdots||$ 인가?
절대값,absolute_value 기호인 $|\cdots|$ 가 혼용되는 것을 자주 보았는데 그 이유는 무엇?

L1 norm : sum of absolute values
$\left\|x \right\|_1 = \sum_{i=1}^n |x_i|$

L2 norm : square root of the sum of the absolute values squared
$\left\|x \right\|_2 = \left( \sum_{i=1}^n |x_i|^2 \right)^{\frac12}$

Lp norm :
$\left\|x \right\|_p = \left( \sum_{i=1}^n |x_i|^p \right)^{\frac1p}$

L∞ norm : infinity norm? (엄밀한 것은 아니고 기억법?) (|x| + |x| + …)1/∞ 괄호 안에선 가장 큰 것만 살아남는다 - 무한대승이다 보니 가장 큰 것 외에는 모두 무시된다. 그리고 가장 큰 것의 ∞승과 가장 바깥의 1/∞승이 상쇄되어 결국 max()와 같다.[1]
$\left\|x \right\|_{\infty} = \max_i|x_i|$
2023-05-24 증명은 이렇다. https://vegatrash.tistory.com/64


// tmp from https://aerospacekim.tistory.com/14 마지막부분

정의

p-norm:
$\left\| \vec{x} \right\|_p := \sqrt[p]{|x_1|^p + \cdots + |x_n|^p} = \left(\sum_{i=1}^n |x_i|^p \right)^{\frac1p}$

generalized_mean, power_mean: - 일반화된평균 ... 평균,mean,average#s-5
음이 아닌 실수 $x_1,\ldots,x_n$ 에 대해
$M_p(x_1,\cdots,x_n) := \sqrt[p]{\frac{x_1^p + \cdots + x_n^p}{n}} = \left(\frac1n \sum_{i=1}^n x_i^p \right)^{\frac1p}$


정적분,definite_integral을 정의할 때, 아주 미세한 분할,partition길이,length중 가장 큰 값을 노름이라 하는데, 이유?


2020-11-11
노름(norm)은 길이(length), magnitude와 확실히 깊은 관련.
벡터,vector차이,difference노름거리,distance로 정의하는 듯. 식 추가 TBW.

2020-11-17
노름이 정의된 벡터공간,vector_space노름공간,normed_space이라 하는데 TBW later.



rel.
p진수,p-adic_number - 저기도 언급 있었네, 여기로 옮겨옴.


2022-02-04
vector_norm
https://planetmath.org/vectornorm
real_vector_space 그리고 complex_vector_space 에서 정의. 방법은 비슷.
p-norm, vector_p-norm
https://planetmath.org/vectorpnorm
p-norm은 (Lp_space Lp-space, aka 르베그_공간,Lebesgue_space, curr at 공간,space) 이거랑 묶어 서술해야하고.. 암튼 현재는 see:
2022-03-16
// ㄷㄱㄱ Week 1-1 p16
p노름,p-norm
{
p-norm $||\vec{x}||_p$

For $p \ge 1,$ p-norm of $\vec{x}\in\mathbb{R}^n$ is defined as
$||\vec{x}||_p = \left[ \sum_{i=1}^n \left| x_i \right|^p \right]^{\frac1p}$

특히 자주 나오는 p-노름 세 가지는,
$||\vec{x}||_1 = |x_1|+|x_2|+\cdots+|x_n|$
$||\vec{x}||_2 = \sqrt{|x_1|^2+|x_2|^2+\cdots+|x_n|^2}$
$||\vec{x}||_{\infty} = \max_{1 \le i \le n} |x_i|$

$||\vec{x}||_2$ : Euclidean vector norm
$||\vec{x}-\vec{y}||_2$ : Euclidean distance between $\vec{x}$ and $\vec{y}$
}


1. 벡터의 노름

벡터,vectornorm, length, magnitude

2차원 공간의 벡터 $\vec{v}=(v_1,v_2)$ 의 norm은
$||\vec{v}||=\sqrt{v_1^2+v_2^2}$

3차원 벡터 $\vec{v}=(v_1,v_2,v_3)$ 의 norm은
$||\vec{v}||=\sqrt{v_1^2+v_2^2+v_3^2}$

$\mathbb{R}^n$벡터,vector
$\vec{x}=(x_1, x_2, \cdots ,x_n)$
에 대하여
$||\vec{x}||=\sqrt{x_1^2+x_2^2+\cdots+x_n^2}$
를 벡터의 크기(norm)라 한다.

따라서 $\mathbb{R}^n$ 의 두 벡터
$\vec{x}=(x_1, x_2, \cdots ,x_n),\; \vec{y}=(y_1, y_2, \cdots ,y_n)$
에 대하여 $||\vec{x}-\vec{y}||$ 는 두 점,point
$P(x_1, x_2, \cdots,x_n)$$Q(y_1, y_2,\cdots,y_n)$
사이의 거리,distance로 정의한다. 즉,
$||\vec{x}-\vec{y}||=\sqrt{(x_1-y_1)^2+(x_2-y_2)^2+\cdots+(x_n-y_n)^2}$

See also 삼각부등식,triangle_inequality

벡터가 자기 자신과 내적,inner_product을 하면 노름의 제곱이 된다.
$\vec{x}\cdot\vec{x}=x_1^2+x_2^2+\cdots+x_n^2=\left(\sqrt{x_1^2+x_2^2+\cdots+x_n^2}\right)^2=||\vec{x}||^2$

크기(norm)가 1인 벡터는 단위벡터,unit_vector.


2. L-노름? : L1, L2, ..., Lp, ..., L∞

사실 많이 본 노름은 2노름 혹은 L2노름. 이런.
$||\vec{x}||_2=\sqrt{x_1^2+x_2^2+\cdots+x_n^2}=\sqrt{\vec{x}\cdot\vec{x}}$
L1노름은
$||\vec{x}||_1=|x_1|+|x_2|+\cdots+|x_n|$

일반화해서
p노름(Lp노름)은
$L_p=\left(\sum_i^n|x_i|^p\right)^{\frac1p}$
n : 대상이 되는 벡터의 요소 수

인피니티 노름, 상한 노름 : 각 성분의 절대값,absolute_value 중 가장 큰 값을 구하는 노름.
$||\vec{x}||_{\infty}=\max_{1 \le i \le n} |x_i|$

// from https://wikidocs.net/74690 CLEANUP CHK

생각: 이것 비슷한 꼴은
다른 거지만 제곱평균제곱근,root_mean_square,RMS에서도 봤고 (같지 않음! 다름!)
매우 비슷한 것을 평균,mean,average의 일반화 관련 어디에서 봤는데.

2.1. tmp 1, from [http]가깝다, 멀다 - Distance / Metric의 개념

(roughly. chk)

L1 norm $=|x_1|+|x_2|$
ex. 밥사는데 쓴 돈 + 고기사는데 쓴 돈

L2 norm $=\sqrt{x_1^2+x_2^2}$
ex. 가로 거리, 세로 거리 (대각선으로 걸어갈 수 있음)

L∞ norm $=\operatorname{max}(x_1,x_2)$
ex. 선수A능력치, 선수B능력치 (대표선수 1명만 출전)

Lp norm $=\sqrt[p]{|x_1|^p + |x_2|^p}$

2.2. tmp 2; from [https]

L1 norm - $||x||_1$ - taxicab norm, Manhattan norm - rel. 맨해튼_거리,Manhattan_distance or taxicab_distance. 벡터의 모든 성분의 절대값의 합
L2 norm - $||x||_2$ - Euclidean_norm - 벡터의 각 성분을 제곱하고 더해 sqrt
L norm - $||x||_{\infty}$ - max_norm - 벡터 성분들의 절대값 중 가장 큰 값
L0 norm - $||x||_0$ - 벡터 성분 중 0이 아닌 것의 개수
- 사실 norm이 아님. 조건 세가지를 만족시키지 못함

3. 길이 또는 노름 norm (이하 Kreyszig)

(실내적공간의 공리 세가지와 직교 등은 생략)

실벡터공간 V에 속한 벡터 $\vec{a}$ 의 길이 또는 노름(norm)은
$||\vec{a}||=\sqrt{(\vec{a},\vec{a})}\;\;(\ge 0)$

여기서 기본적인 부등식
을 유도할 수 있다고.

4. Euclid 노름


$R^n$ 공간에
$(\vec{a},\vec{b})=\vec{a}{}^t\vec{b}=a_1b_1+\cdots+a_nb_n$
이런 내적,inner_product이 정의되었다고 하면, 이 때 이 공간을 n차원 Euclid 공간이라 부르고 $E^n$ (또는 간단하게 다시 $R^n$ )으로 표기. 그리고 Euclid 노름은
$||\vec{a}||=\sqrt{(\vec{a},\vec{a})}=\sqrt{\vec{a}{}^t\vec{a}}=\sqrt{a_1^2+\cdots+a_n^2}$

https://foldoc.org/Euclidean norm

5. 함수의 노름

주어진 구간 $\alpha\le x\le \beta$ 에서 실수값을 갖는 연속함수 $f(x),g(x),\cdots$ 들의 집합은 일반적인 함수의 덧셈과 스칼라(실수)곱에 의해 실벡터공간을 이룬다. 이 함수공간,function_space 상에서 적분
$(f,g)=\int_{\alpha}^{\beta}f(x)g(x)dx$
를 내적으로 정의할 수 있다. 함수의 노름은
$||f||=\sqrt{(f,f)}=\sqrt{\int_{\alpha}^{\beta}f(x)^2 dx}$
기 된다.

(이상 세 섹션 Kreyszig 7.9 내적공간,inner_product_space에서. 내적 표기에 a·b 대신 (a,b)를 썼음을 주의. 직접 계산으로 공리 세가지도 확인 가능.)

6. tmp


chk

벡터공간,vector_space의 각 원소,element $x$ 에 한 실수,real_number $||x||$ 가 대응하며, 세 조건
  • $||x|| \ge 0$
  • $||ax|| = |a| \cdot ||x||$
  • $||x+y|| \le ||x|| + ||y||$
를 만족할 때의 $x$ 이다

??

암튼 정의는 세가지 조건 만족인데 제일 믿을만한거 찾아 정의를 맨앞문단으로 ..

7. seminorm

셋 중 하나 빠지고 두가지 조건? chk

작성중

8. 노름과 내적, 거리함수와의 관계

tmp {
내적이 정의되면 노름은 그 내적의 제곱근,square_root 값으로 정의되며
$||\vec{x}||=\sqrt{\langle\vec{x},\vec{x}\rangle}$
그 역은 성립하지 않는다. 즉,
노름이 있다고 해서 그에 자연스럽게 대응되는 내적이 항상 존재하는 것은 아니다.

노름이 정의되면 거리함수,distance_function(혹은 metric) $d(\cdot,\cdot):V\times V\to\mathbb{R}$ 가 이렇게 자연스럽게 정의된다.
$d(\vec{x},\vec{y})=||\vec{x}-\vec{y}||$
그 역은 성립하지 않는다. 즉,
거리함수가 있다고 해서 그에 자연스럽게 대응되는 노름이 항상 존재하는 것은 아니다. (심지어 거리함수는 벡터공간이 아니라도 정의 가능)

내적 → 노름 → 거리함수?



9. induced norm - 역시 내적과 관계

10. 행렬의 노름


TODO mentioned at 절대값,absolute_value. merge.

TODO 이거 벡터노름(section 1)과 비교. 벡터노름 바로 다음 section으로 옮기는게 나을까?


11. addhere


12. addhere


13. addhere


14. MKLINK: regularization and loss

L1_norm
L2_norm

과 다음 pages를 연결.

L1_regularization
L2_regularization

L1_loss
L2_loss

정칙화,regularization
{
보이는 다른 번역들:
정규화, (다만 normalization 번역에 쓰이는 단어)
일반화, (다만 generalization 번역에 쓰이는 단어)


15. links ko

https://m.blog.naver.com/ooooooooooo0/220365293655 여기에
노름거리,distance 서술,
의 (순서적??) 관계 및
노름의 기호 vs 절대값 기호
내적 표현 괄호 vs 생성집합 표현 괄호
이런 생각들이 있음.

https://elementary-physics.tistory.com/31 - 교과서적 깔끔 설명


16. links en



Frobenius_norm "sometimes also called the Euclidean norm"
https://mathworld.wolfram.com/FrobeniusNorm.html
matrix_norm 의 하나, but "can also be considered as a vector_norm"
matrix의 모든 element들의 제곱을 더한 값? chk
주성분분석,principal_component_analysis,PCA에서 이것의 제곱을 사용? chk

17. Twins

[https]수학백과: 노름
https://mathworld.wolfram.com/Norm.html
https://everything2.com/title/norm
WpEn:Norm_(mathematics)
WpKo:노름
Namu:노름(수학)
https://ncatlab.org/nlab/show/norm
{
1. 에서 정의 두가지로 나누어 설명
On an abelian group // 가환군,commutative_group or 아벨_군,abelian_group ... 저거 페이지명을 뭘로할까? 암튼 curr goto 군,group#s-2.4
On a vector space // 벡터공간,vector_space
seminorm(writing) 정의 포함.
}



AKA , 노음, 노옴, 노엄 등. 누가 놂이라고 해도 납득될듯.