分段特徵

分段特徵是指將研究對象的特徵分成不同的部分或是指將一個特徵分成不同部分。分段特徵是特徵工程的一部分，通過分段特徵，更好地理解和識別特徵有關特性，從而更精確地進行識別對象或特徵識別，例如將圖像轉化為空間頻率域，用卷積神經網路識別圖像等。

以空間頻率(即波數)為自變數描述圖像的特徵，可以將一幅圖像像元值在空間上的變化分解為具有不同振幅、空間頻率和相位的簡振函數的線性疊加，圖像中各種空問頻率成分的組成和分佈稱為空間頻譜。這種對圖像的空間頻率特徵進行分解、處理和分析稱為空間頻率域處理或波數域處理。和時間域與頻率域可互相轉換相似，空間域與空間頻率域也可互相轉換。在空間頻率域中可以引用已經很成熟的頻率域技術，處理的一般步驟為：對圖像施行二維離散傅立葉變換或小波變換，將圖像由圖像空間轉換到頻域空間。在空間頻率域中對圖像的頻譜作分析處理，以改變圖像的頻率特徵。即設計不同的數字濾波器，對圖像的頻譜進行濾波。頻率域處理主要用於與圖像空間頻率有關的處理中。如圖像恢復、圖像重建、輻射變換、邊緣增強、圖像銳化、圖像平滑、雜訊壓制、頻譜分析、紋理分析等處理和分析中。

1962 年，生物學家 Hubel 和 Wiesel 通過對貓腦視覺皮層的研究，發現在視覺皮層中存在一系列複雜構造的細胞，這些細胞對視覺輸入空間的局部區域很敏感，它們被稱為“感受野”。感受野以某種方式覆蓋整個視覺域，它在輸入空間中起局部作用，因而能夠更好地挖掘出存在於自然圖像中強烈的局部空間相關性。被稱為感受野的這些細胞分為簡單細胞和複雜細胞兩種類型。根據Hubel-Wiesel 的層級模型，在視覺皮層中的神經網路有一個層級結構：LGB（外側膝狀體）→簡單細胞→複雜細胞→低階超複雜細胞→高階超複雜細胞。低階超複雜細胞與高階超複雜細胞之間的神經網路結構類似於簡單細胞和複雜細胞間的神經網路結構。在該層級結構中，處於較高階段的細胞通常會有這樣一個傾向：對刺激模式更複雜的特徵進行選擇性響應；同時也具有一個更大的感受野，對刺激模式位置的移動也更不敏感。1980 年，Fukushima 根據 Huble 和 Wiesel 的層級模型提出了結構與之類似的神經認知機（Neocognitron）。神經認知機採用簡單細胞層（S-layer，S 層）和複雜細胞層（C-layer，C 層）交替組成，其中 S 層與Huble-Wiesel 層級模型中的簡單細胞層或者低階超複雜細胞層相對應，C 層對應於複雜細胞層或者高階超複雜細胞層。S 層能夠最大程度地響應感受野內的特定邊緣刺激，提取其輸入層的局部特徵，C層對來自確切位置的刺激具有局部不敏感性。儘管在神經認知機中沒有像 BP 演演算法那樣的全局監督學習過程可利用，但它仍可認為是 CNN 的第一個工程實現網路，卷積和下採樣分別受啟發於Hubel-Wiesel 概念的簡單細胞和複雜細胞，它能夠準確識別具有位移和輕微形變的輸入模式。隨後，LeCun 等基於 Fukushima 的研究工作使用誤差梯度回傳方法設計並訓練了 CNN（該模型稱為LeNet-5），LeNet-5 是經典的 CNN 結構，後續有許多工作基於此進行改進，它在一些模式識別領域中取得了良好的分類效果。CNN 的基本結構由輸入層、卷積層、取樣層、全連接層及輸出層構成。卷積層和取樣層一般會取若干個，採用卷積層和取樣層交替設置，即一個卷積層連接一個取樣層，取樣層后再連接一個卷積層，依此類推。由於卷積層中輸出特徵面的每個神經元與其輸入進行局部連接，並通過對應的連接權值與局部輸入進行加權求和再加上偏置值，得到該神經元輸入值，該過程等同於卷積過程，卷積神經網路也由此而得名。

特徵工程是機器學習領域的一個重要概念，目前並沒有普遍接受的定義，一般可以認為是為機器學習應用而設計特徵集的相關工作。主要涉及兩個方面的因素：a)了解要解決的問題和要使用的機器學習演演算法的優勢和限制；b)進行實踐，通過實驗從而更好地掌握哪種特徵更為合理，哪種特徵並不符合所處理的問題或所選擇的機器學習方法。這兩方面的影響因素可以是一個螺旋式迭代過程，對問題自頂而下的理解有助於實驗工作的展開；同時在實驗中所獲得的自底而上的信息者會幫助更好地理解要解決的問題，揭示蘊涵的問題本質。圖像理解是機器學理論的重要應用領域，特徵工程自然在整個圖像理解中佔有舉足輕重的地位。近年來，圖像整體場景理解雖然在複雜性和綜合性方面遠勝於基本圖像理解任務，但其在各項研究和工程實踐中均展示了卓越的性能，因而成為了當前圖像理解研究中的熱點和難點。基於概率論和圖論的模型能很好地刻畫這種整體性，成為了當前整體場景理解中普遍採用的模型。要利用概率圖模型的方法開展整體場景理解(顯著性檢測、場景分類、多類圖像分割、模型集成等)研究，獲取整體場景理解所需數據即提取相關特徵是其第一項基礎性任務。

在機器學習和統計學中，特徵選擇（英語：feature selection）也被稱為變數選擇、屬性選擇 或變量子集選擇。它是指：為了構建模型而選擇相關特徵（即屬性、指標）子集的過程。使用特徵選擇技術有三個原因：簡化模型，使之更易於被研究人員或用戶理解，縮短訓練時間，改善通用性、降低過擬合（即降低方差）。要使用特徵選擇技術的關鍵假設是：訓練數據包含許多冗餘 或無關 的特徵，因而移除這些特徵並不會導致丟失信息。冗餘 或無關 特徵是兩個不同的概念。如果一個特徵本身有用，但如果這個特徵與另一個有用特徵強相關，且那個特徵也出現在數據中，那麼這個特徵可能就變得多餘。特徵選擇技術與特徵提取有所不同。特徵提取是從原有特徵的功能中創造新的特徵，而特徵選擇則只返回原有特徵中的子集。特徵選擇技術的常常用於許多特徵但樣本（即數據點）相對較少的領域。特徵選擇應用的典型用例包括：解析書面文本和微陣列數據，這些場景下特徵成千上萬，但樣本只有幾十到幾百個。特徵選取方法可以分為包裝(wrapper)、過濾(filter)和嵌入(embedded)方法。包裝類型方法採用預測模型方式，對每一子集特徵通過錯誤率進行評分。由於對每一子集特徵都需要進行打分，包裝類型演演算法往往計算代價高，所以很難被運用到大規模數據挖掘分析工作中。過濾類型方法通過一種代理評價標準而非錯誤率來評估子集特徵。嵌入類型方法將特徵選擇技術嵌入到模型訓練中，比如最小絕對收縮和選擇運算元(least absolute shrinkage and selection operator， LASSO) 在構建線性模型時，通過回歸係數壓縮特徵，僅選取在這一階段中係數不為零的特徵。

在機器學習中，特徵學習或表徵學習是學習一個特徵的技術的集合：將原始數據轉換成為能夠被機器學習來有效開發的一種形式。它避免了手動提取特徵的麻煩，允許計算機學習使用特徵的同時，也學習如何提取特徵：學習如何學習。機器學習任務，例如分類問題，通常都要求輸入在數學上或者在計算上都非常便於處理，在這樣的前提下，特徵學習就應運而生了。然而，在我們現實世界中的數據例如圖片，視頻，以及感測器的測量值都非常的複雜，冗餘並且多變。那麼，如何有效的提取出特徵並且將其表達出來就顯得非常重要。傳統的手動提取特徵需要大量的人力並且依賴於非常專業的知識。同時，還不便於推廣。這就要求特徵學習技術的整體設計非常有效，自動化，並且易於推廣。特徵學習可以被分為兩類：監督的和無監督的，類似於機器學習。在監督特徵學習中，被標記過的數據被當做特徵用來學習。例如神經網路，多層感知器，(監督)字典學習。在無監督特徵學習中，未被標記過的數據被當做特徵用來學習。例如(無監督)字典學習，獨立成分分析，自動編碼，矩陣分解，各種聚類分析及其變形