Hopfield神經網路

Hopfield網路是一種結合存儲系統和二元系統的神經網路。它保證了向局部極小的收斂，但收斂到錯誤的局部極小值（local minimum），而非全局極小（global minimum）的情況也可能發生。Hopfield網路也提供了模擬人類記憶的模型。

離散Hopfield網路是一個單層網路，有個神經元節點，每個神經元的輸出均接到其它神經元的輸入。各節點沒有自反饋。每個節點都可處於一種可能的狀態（1或－1），即當該神經元所受的刺激超過其閥值時，神經元就處於一種狀態（比如1），否則神經元就始終處於另一狀態（比如 －1）。整個網路有兩種工作方式：即非同步方式和同步方式。

Hopfield網路的單元是二元的（binary），即這些單元只能接受兩個不同的值，並且值取決於輸入的大小是否達到閾值。Hopfield網路通常接受值為-1或1，也可以是0或者1。輸入是由sigmoid函數處理得到的。 sigmoid函數定義為：

用於將輸入化簡為兩個極值。

每一對Hopfiled網路的單元和間都有一對以一定權重（weight）的連接{}。因此，Hopfiled網路可被描述為一個完整的無向圖,，其中是人工神經元集合。

Hopfiled網路的連接有以下特徵：

（沒有神經元和自身相連）

（連接權重是對稱的）

權重對稱的要求是一個重要特徵，因為它保證了能量方程（稱向函數某一點收斂的過程為勢能轉化為能量）在神經元激活時單調遞減，而不對稱的權重可能導致周期性的遞增或者雜訊。然而，Hopfiled網路也證明雜訊過程會被局限在很小的範圍，並且並不影響網路的最終性能。

聯想記憶功能是離散Hopfield網路的一個重要應用範圍。要想實現聯想記憶，反饋網路必須具有兩個基本條件：

① 網路能收斂到穩定的平衡狀態，並以其作為樣本的記憶信息；

② 具有回憶能力，能夠從某一殘缺的信息回憶起所屬的完整的記憶信息。離散Hopfield網路實現聯想記憶的過程分為兩個階段：學習記憶階段和聯想回憶階段。在學習記憶階段中，設計者通過某一設計方法確定一組合適的權值，使網路記憶期望的穩定平衡點。聯想回憶階段則是網路的工作過程。

離散Hopfield網路用於聯想記憶有兩個突出的特點：即記憶是分散式的，而聯想是動態的。離散Hopfield網路局限性，主要表現在以下幾點：

① 記憶容量的有限性；

② 偽穩定點的聯想與記憶；

③ 當記憶樣本較接近時，網路不能始終回憶出正確的記憶等。另外網路的平衡穩定點並不可以任意設置的，也沒有一個通用的方式來事先知道平衡穩定點。

• 玻爾茲曼機– 像一個Hopfield網路，可採用退火吉布斯抽樣代替梯度下降

• 易辛模型

• 赫布理論