范數

范數，是具有“長度”概念的函數。在線性代數、泛函分析及相關的數學領域，范數是一個函數，是矢量空間內的所有矢量賦予非零的正長度或大小。半范數可以為非零的矢量賦予零長度。

定義范數的矢量空間是賦范矢量空間；同樣，定義半范數的矢量空間就是賦半范矢量空間。

註：在二維的歐氏幾何空間 R中定義歐氏范數，在該矢量空間中，元素被畫成一個從原點出發的帶有箭頭的有向線段，每一個矢量的有向線段的長度即為該矢量的歐氏范數。

假設 是域 上的矢量空間，的半范數是一個函數， ，滿足：

（非負性）

（正值齊次性）

(三角不等式).

范數=半范數+額外性質

若 若是數域上的線性空間，泛函 滿足：

(1)正定性： ，且；

(2)正齊次性： ；

(3)次可加性（三角不等式）： 。

那麼，稱為 上的一個范數。

如果線性空間上定義了范數，則稱之為賦范線性空間。

當且僅當 是零矢量(正定性）時，是零矢量；若拓撲矢量空間的拓撲可以被范數導出，那麼這個拓撲矢量空間被稱為賦范矢量空間。

(1) 范數 度量 拓撲： 因此賦范線性空間是度量空間；但是由度量不一定可以得到范數。

(2) 如果賦范線性空間作為（由其范數自然誘導度量 的）度量空間是完備的，即任何柯西(Cauchy）序列在其中都收斂，則稱這個賦范線性空間為巴拿赫（Banach）空間。

(3) 內積 范數： ；范數不一定可以推出內積；當范數滿足平行四邊形公式 時，這個范數一定可以誘導內積；完備的內積空間稱為希爾伯特空間。

(4) 如果去掉范數定義中的正定性，那麼得到的泛函稱為半范數（seminorm或者叫准范數），相應的線性空間稱為賦准范線性空間。

對於X上的兩種范數， 若存在正常數滿足：那麼稱 弱於。如果 弱於 ，且 弱於，那麼稱這兩種范數等價。

可以證明，有限維空間上的范數都等價，無限維空間上至少有阿列夫（實數集的基數）種不等價的范數。

如果 和 是巴拿赫空間，是 的線性運算元，那麼可以按下述方式定義：

根據定義容易證明：

對於多個空間之間的複合運算元，也有， 。

如果一個線性運算元的范數滿足那麼稱是有界線性運算元，否則稱是無界線性運算元。

如，在常用的范數下，積分運算元是有界的，微分運算元是無界的。

容易證明，有限維空間的所有線性運算元都有界。

有限維空間上的范數具有良好的性質，主要體現在以下幾個定理：

性質1：

對於有限維賦范線性空間的任何一組基，范數是元素（在這組基下）的坐標的連續函數。

性質2（Minkowski定理）：

有限維線性空間的所有范數都等價。

性質3（Cauchy收斂原理）：

實數域（或複數域）上的有限維線性空間（按任何范數）必定完備。

性質4：

有限維賦范線性空間中的序列按坐標收斂的充要條件是它按任何范數都收斂。

這裡以空間為例，空間類似。

最常用的范數就是范數。若，那麼

可以驗證范數確實滿足范數的定義。其中三角不等式的證明不是平凡的，這個結論通常稱為閔可夫斯基(Minkowski）不等式。

當p取 的時候分別是以下幾種最簡單的情形：

1-范數：

2-范數：

∞-范數：

其中范數就是通常意義下的距離。

對於這些范數有以下不等式：

另外，若和是赫德爾（Hölder）共軛指標，即，那麼有赫德爾不等式：

當時就是柯西-許瓦茲（Cauchy-Schwarz）不等式。

一般來講矩陣范數除了正定性，齊次性和三角不等式之外，還規定其必須滿足相容性： 所以矩陣范數通常也稱為相容範數。

如果是相容範數，且任何滿足的范數都不是相容範數，那麼稱為極小范數。對於n階實方陣（或復方陣）全體上的任何一個范數，總存在唯一的實數k>0，使得是極小范數。

註：如果不考慮相容性，那麼矩陣范數和向量范數就沒有區別，因為mxn矩陣全體和mn維向量空間同構。引入相容性主要是為了保持矩陣作為線性運算元的特徵，這一點和運算元范數的相容性一致，並且可以得到Mincowski定理以外的信息。

把矩陣看作線性運算元，那麼可以由向量范數誘導出矩陣范數

它自動滿足對向量范數的相容性

並且可以由此證明：

註：

⒈ 上述定義中可以用max代替sup是因為有限維空間的單位閉球是緊的（有限開覆蓋定理），從而上面的連續函數可以取到最值。

⒉ 單位矩陣的運算元范數為1。

常用的三種p-范數推導出的矩陣范數：

1-范數：

（列和范數，A每一列元素絕對值之和的最大值）（其中∑|ai1|第一列元素絕對值的和其餘類似）；

2-范數：

的最大奇異值 （譜范數，即A^H*A特徵值λi中最大者λ1的平方根，其中A為A的轉置共軛矩陣）；

∞-范數：

（行和范數，A每一行元素絕對值之和的最大值）（其中為第一行元素絕對值的和，其餘類似）；

其它的p-范數則沒有很簡單的表達式。

對於p-范數而言，可以證明，其中p和q是共軛指標。

簡單的情形可以直接驗證：，一般情形則需要利用。

有些矩陣范數不可以由向量范數來誘導，比如常用的Frobenius范數（也叫Euclid范數，簡稱F-范數或者E-范數）：

(A全部元素平方和的平方根）。

容易驗證F-范數是相容的，但當時F-范數不能由向量范數誘導。

可以證明任一種矩陣范數總有與之相容的向量范數。

例：

定義是由作為列的矩陣。由於向量的F-范數就是2-范數，所以F-范數和向量的2-范數相容。

另外還有以下結論：

定義：

A是n階方陣，是其特徵值，。則稱特徵值得絕對值得最大值為A的譜半徑，即為。

註：注意要將譜半徑與譜范數（2-范數）區別開來，譜范數是指A的最大奇異值，即最大特徵值的算術平方根。

譜半徑是矩陣的函數，但不是矩陣范數。譜半徑和范數的關係是以下幾個結論：

定理1：

譜半徑不大於矩陣范數，即。

因為任一特徵對，，可得。兩邊取范數並利用相容性即得結果。

定理2：

對於任何方陣A以及任意正數，存在一種矩陣范數使得。

定理3(Gelfand定理）：

。

推論：

推論1：矩陣序列收斂於零的充要條件是。

推論2：級數 收斂到的充要條件是。

定義：

如果范數滿足對任何矩陣以及酉矩陣成立，那麼這個范數稱為酉不變范數。

容易驗證，2-范數和F-范數是酉不變范數。因為酉變換不改變矩陣的奇異值，所以由奇異值得到的范數是酉不變的，比如2-范數是最大奇異值，F-范數是所有奇異值組成的向量的2-范數。反之可證明，所有的酉不變范數都和奇異值有密切聯繫。