梯度投影法

梯度投影法(gradient projection method)利用梯度的投影技巧求約束非線性規劃問題最優解的一種方法。

求帶線性約束的非線性規劃問題更為有效。它是從一個基本可行解開始，由約束條件確定出凸約束集邊界上梯度的投影，以便求出下次的搜索方向和步長。每次搜索后，都要進行檢驗，直到滿足精度要求為止。這種方法是羅森於1960年提出的，戈德福布和拉匹塔斯於1968年作了改進。

考慮最優化問題

其中 。

的可行域記為 S , 對任意 , 令

定理1: 設, 則為 (L C O P) 在 x 處的可行方向的充分必要條件是

推論 1 : 設 d 是在處的可行方向, 令

則對任意，有。

定義1：設P是n階實對稱矩陣，如果,則稱P是投影矩陣。

定理2：設P是n階投影矩陣，則

(1) P是半正定矩陣;

(2) 也是投影矩陣;

(3) 線性子空間與正交，其中

(4) 對任意，有唯一分解式

定理3：設 且記

如果則

(1) 是投影矩陣;

(2) 當時, 是在x處的可行下降方向。