神經網路模型

神經網路（Neural Networks,NN）是由大量的、簡單的處理單元（稱為神經元）廣泛地互相連接而形成的複雜網路系統，它反映了人腦功能的許多基本特徵，是一個高度複雜的非線性動力學習系統。神經網路具有大規模并行、分散式存儲和處理、自組織、自適應和自學能力，特別適合處理需要同時考慮許多因素和條件的、不精確和模糊的信息處理問題。神經網路的發展與神經科學、數理科學、認知科學、計算機科學、人工智慧、信息科學、控制論、機器人學、微電子學、心理學、光計算、分子生物學等有關，是一門新興的邊緣交叉學科。

神經網路的基礎在於神經元。

神經元是以生物神經系統的神經細胞為基礎的生物模型。在人們對生物神經系統進行研究，以探討人工智慧的機制時，把神經元數學化，從而產生了神經元數學模型。

大量的形式相同的神經元連結在—起就組成了神經網路。神經網路是一個高度非線性動力學系統。雖然，每個神經元的結構和功能都不複雜，但是神經網路的動態行為則是十分複雜的；因此，用神經網路可以表達實際物理世界的各種現象。

神經網路模型是以神經元的數學模型為基礎來描述的。人工神經網路(ArtificialNuearlNewtokr)s,是對人類大腦系統的一階特性的一種描。簡單地講，它是一個數學模型。神經網路模型由網路拓撲．節點特點和學習規則來表示。神經網路對人們的巨大吸引力主要在下列幾點：

1．并行分佈處理。

2．高度魯棒性和容錯能力。

3．分佈存儲及學習能力。

4．能充分逼近複雜的非線性關係。

在控制領域的研究課題中，不確定性系統的控制問題長期以來都是控制理論研究的中心主題之一，但是這個問題一直沒有得到有效的解決。利用神經網路的學習能力，使它在對不確定性系統的控制過程中自動學習系統的特性，從而自動適應系統隨時間的特性變異，以求達到對系統的最優控制；顯然這是一種十分振奮人心的意向和方法。

人工神經網路的模型現在有數十種之多，應用較多的典型的神經網路模型包括BP神經網路、Hopfield網路、ART網路和Kohonen網路。

學習是神經網路一種最重要也最令人注目的特點。在神經網路的發展進程中，學習演演算法的研究有著十分重要的地位。目前，人們所提出的神經網路模型都是和學習演演算法相應的。所以，有時人們並不去祈求對模型和演演算法進行嚴格的定義或區分。有的模型可以有多種演演算法。而有的演演算法可能可用於多種模型。在神經網路中，對外部環境提供的模式樣本進行學習訓練，並能存儲這種模式，則稱為感知器；對外部環境有適應能力，能自動提取外部環境變化特徵，則稱為認知器。神經網路在學習中，一般分為有教師和無教師學習兩種。感知器採用有教師信號進行學習，而認知器則採用無教師信號學習的。在主要神經網路如Bp網路,Hopfield網路,ART絡和Kohonen網路中;Bp網路和Hopfield網路是需要教師信號才能進行學習的；而ART網路和Khonone網路則無需教師信號就可以學習49[]。所謂教師信號，就是在神經網路學習中由外部提供的模式樣本信號。

在人體內，神經元的結構形式並非是完全相同的；但是，無論結構形式如何，神經元都是由一些基本的成份組成的。神經元的生物學解剖可以用圖1—1所示的結構表示。從圖中可以看出：神經元是由細胞體，樹突和軸突三部分組成。

1．細胞體

細胞體是由很多分子形成的綜合體，內部含有一個細胞核、核糖體、原生質網狀結構等，它是神經元活動的能量供應地，在這裡進行新陳代謝等各種生化過程。神經元也即是整個細胞，整個細胞的最外層稱為細胞膜。

2．樹突

細胞體的伸延部分產生的分枝稱為樹突，樹突是接受從其它神經元傳入的信息的入口。

3．軸突

細胞體突起的最長的外伸管狀纖維稱為軸突。軸突最長可達1米以上。軸突是把神經元興奮的信息傳出到其它神經元的出口。

突觸是一個神經元與另一個神經元之間相聯繫並進行信息傳送的結構。如圖1—2所示。它由突觸前成分，突觸間隙和突觸后成分組成。突觸前成分是一·個神經元的軸突末梢。突觸間隙是突觸前成分與后成分之間的距離空間，間隙一般為200—300Å。突觸后成分可以是細胞體，樹突或軸突。突觸的存在說明：兩個神經元的細胞質並不直接連通，兩者彼此聯繫是通過突觸這種結構介面的。有時．也把突觸看作是神經元之間的連接。

目前，根據神經生理學研究，已經發現神經元及其間的突觸起碼有4種不同行為。神經元4種生物行為有：

(1)能處於抑制或興奮狀態；

(2)能產生爆發和平台兩種情況；

(3)能產生抑制后的反衝；

(4)具有適應性。

突觸的4種生物行為有：

(1)能進行信息綜合；

(2)能產生漸次變化的傳送；

(3)有電接觸和化學接觸等多種連接方式；

(4)會產生延時激發。

目前，人工神經網路的研究僅僅是對神經元的第一種行為和突觸的第一種行為進行模擬，其它行為尚未考慮。所以，神經網路的研究只是處於起步的初級階段，後邊還有大量的工作等人們去探討和研究。目前，神經網路的研究已向人們展示了其美好的前景；只要按階段不斷取得進展，神經元和突觸的其它行為是完全可以實現人工模擬的。

1．神經元的興奮與抑制

人工神經網路對神經元的興奮與抑制進行模擬，故而首先應了解神經元的興奮與抑制狀態。

一個神經元的興奮和抑制兩種狀態是由細胞膜內外之間不同的電位差來表徵的。在抑制狀態，細胞膜內外之間有內負外正的電位差，這個電位差大約在-50— -100mv之間。在興奮狀態，則產生內正外負的相反電位差，這時表現為約60—100mv的電脈衝。細胞膜內外的電位差是由膜內外的離子濃度不同導致的。細胞的興奮電脈衝寬度一般大約為1ms。

2．神經元的信息傳遞及閥值特性

對神經細腦的研究結果表明：神經元的電脈衝幾乎可以不衰減地沿著軸突傳送到其它神經元去。

由神經元傳出的電脈衝信號通過軸突，首先到達軸突末梢，這時則使其中的囊泡產生變化從而釋放神經遞質，這種神經遞質通過突觸的間隙而進入到另一個神經元的樹突中。樹突上的受體能夠接受神經遞質從而去改變膜向離子的通透性，使膜外內離子濃度差產生變化；進而使電位產生變化。顯然，信息就從一個神經元傳送到另一個神經元中。

當神經元接受來自其它神經元的信息時，膜電位在開始時是按時間連續漸漸變化的。當膜電位變化經超出一個定值時，才產生突變上升的脈衝，這個脈衝接著沿軸突進行傳遞。神經元這種膜電位高達一定閥值才產生脈衝傳送的特性稱閥值特性。

這種閥值特性從圖1—3中也可以看出。

神經元的信息傳遞除了有閥值特性之外，還有兩個特點。一個是單向性傳遞，即只能從前一級神經元的軸突末梢傳向後一級神經元的樹突或細胞體，不能反之。另一個是延時性傳遞，信息通過突觸傳遞，通常會產生0.5-1ms的延時。

3．神經元的信息綜合特性

神經元對來自其它神經元的信息有時空綜合特性。

在神經網路結構上，大量不同的神經元的軸突末梢可以到達同一個神經元的樹突並形成大量突觸。來源不同的突觸所釋放的神經遞質都可以對同一個神經元的膜電位變化產生作用。因此，在樹突上，神經元可以對不同來源的輸入信息進行綜合。這就是神經元對信息的空間綜合特性。

對於來自同一個突觸的信息，神經元可以對於不同時間傳人的信息進行綜合。故神經元對信息有時間綜合特性。

4．神經元、突觸的D/A、A/D特性

從神經元軸突上傳遞的信息是等幅、恆寬、編碼的離散電脈衝信號，故而是一個數字量。但在突觸中神經遞質的釋放和樹突中膜電位的變化是連續的。故而，這時說明突觸有D/A功能。在神經元的樹突膜電位高過一定閥值時，則又變成電脈衝方式由軸突傳送出去。故而，這個過程說明神經元有A/D功能。

很明顯，信息通過一個神經元傳遞時，神經元對信息執行了D/A、A/D轉換過程。

從上面可知，神經元對信息的處理和傳遞有閥值，D/A、A/D和綜合等一系列特性和功能。

從神經元的特性和功能可以知道，神經元是一個多輸入單輸出的信息處理單元，而且，它對信息的處理是非線性的。根據神經元的特性和功能，可以把神經元抽象為一個簡單的數學模型。工程上用的人工神經元模型如圖1-4所示。

圖1-4 神經元的數學模型

在圖1-4中，X1，X2，……，Xn是神經元的輸入，即是來自前級n個神經元的軸突的信息A，Σ是i神經元的閾值；Wi1，Wi2……，Win分別是i神經元對X1，X2，……，Xn的權係數，也即突觸的傳遞效率；Yi是i神經元的輸出；f[·]是激發函數，它決定i神經元受到輸人X1，X2，……，Xn的共同刺激達到閥值時以何種方式輸出。

從圖1-4的神經元模型，可以得到神經元的數學模型表達式：

(1-1)

圖1-5.典型激發函數

對於激發函數f[·]有多種形式，其中最常見的有階躍型、線性型和S型三種形式，這三種形式如圖1—5所示。

為了表達方便；令：

(1-2)

則式(1-1)可寫成下式：

Yi=F[Ui] ； (1-3)

顯然，對於階躍型激發涵數有：

(1-4)

對於線性型激發函數，有：

f(Ui)=Ku； (1-5)

對於S型激發函數，有：

(1-6)

對於階躍型激發函數，它的輸出是電位脈衝，故而這種激發函數的神經元稱離散輸出模型。

對於線性激發函數，它的輸出是隨輸入的激發總量成正比的；故這種神經元稱線性連續型模型。

對於用s型激發函數，它的輸出是非線性的；故這種神經元稱非線性連續型模型。

上面所敘述的是最廣泛應用而且人們最熟悉的神經元數學模型；也是歷史最長的神經元模型。近若干年來，隨著神經網路理論的發展，出現了不少新穎的神經元數學模型，這些模型包括邏輯神經元模型，模糊神經元模型等，並且漸漸也受到人們的關注和重視。

BP網路是一種對非線性可微分函數進行權值訓練的多層網路。它的最大特點是僅僅藉助樣本數據，無需建立系統的數學模型，就可對系統實現由m個輸入神經元的模式向量p組成的pm空間到yn空間n(為輸出節點數)的高度非線性映射。BP演演算法是為了解決多層前向神經網路的權係數優化而提出來的；所以BP演演算法也重慶大學碩士學位論文3基於BP神經網路的軟體可靠性模型選擇研究通常暗示著神經網路的拓撲結構是一種無反饋的多層前向網路。故而。有時也稱無反饋多層前向網路為BP模型。在人工神經網路的實際應用中,80%一90%的神經網路模型是採用BP網路或它的變化形式。BP演演算法是用於前饋多層網路的學習演演算法。

神經網路具有四個基本特徵：

（1）非線性

非線性關係是自然界的普遍特性。大腦的智慧就是一種非線性現象。人工神經元處於激活或抑制二種不同的狀態，這種行為在數學上表現為一種非線性關係。具有閾值的神經元構成的網路具有更好的性能，可以提高容錯性和存儲容量。

（2）非局限性

一個神經網路通常由多個神經元廣泛連接而成。一個系統的整體行為不僅取決於單個神經元的特徵，而且可能主要由單元之間的相互作用、相互連接所決定。通過單元之間的大量連接模擬大腦的非局限性。聯想記憶是非局限性的典型例子。

（3）非常定性

人工神經網路具有自適應、自組織、自學習能力。神經網路不但處理的信息可以有各種變化，而且在處理信息的同時，非線性動力系統本身也在不斷變化。經常採用迭代過程描寫動力系統的演化過程。

（4）非凸性

一個系統的演化方向，在一定條件下將取決於某個特定的狀態函數。例如能量函數，它的極值相應於系統比較穩定的狀態。非凸性是指這種函數有多個極值，故系統具有多個較穩定的平衡態，這將導致系統演化的多樣性。

神經網路的應用已經涉及到各個領域，且取得了很大的進展。

主要有系統 建模和辨識，參數整定，極點配置，內模控制，優化設計，預測控制，最優控制，濾波與預測容錯控制等。

成功解決了旅行商問題，另外還有最大匹配問題，裝箱問題和作業調度問題。

手寫字元，汽車牌照，指紋和聲音識別，還可用於目標的自動識別，目標跟蹤，機器人感測器圖像識別及地震信號的鑒別。

對圖像進行邊緣監測，圖像分割，圖像壓縮和圖像恢復。

能分別對通訊、語音、心電和腦電信號進行處理分類；可用於海底聲納信號的檢測與分類，在反潛、掃雷等方面得到應用。

對機器人軌道控制，操作機器人眼手系統，用於機械手的故障診斷及排除，智能自適應移動機器人的導航，視覺系統。

在乳房癌細胞分析，移植次數優化，醫院費用節流，醫院質量改進，疾病診斷模型等方面均有應用。比如通過訓練自主組合的多層感知器可以區分正常心跳和非正常心跳、基於BP網路的波形分類和特徵提取在計算機臨床診斷中的應用。

國內外在參數選擇、質量檢驗、質量預測和實時控制方面都有研究，部分成果已得到應用。

能對商品價格、股票價格和企業的可信度等進行短期預測，另外，在數據挖掘、電力系統、交通、軍事、礦業、農業和氣象等方面亦有應用。

卷積神經網路、深度殘差收縮網路等均被應用於智能故障診斷領域。