激勵函數,在人工神經網路中,單個神經元的輸入與輸出之間的函數關係叫做激勵函數。
大量的節點(或稱“神經元”,或“單元”)和之間相互聯接構成。每個節點代表一種特定的輸出函數,稱為激勵函數(activation function)。每兩個節點間的連接都代表一個對於通過該連接信號的加權值,稱之為權重(weight),這相當於人工神。
激勵函數
Sigmoid函數。是連續,可導,有界,關於
原點對稱的增函數,呈S形,具體可用反正切函數
arctan或
指數函數exp來實現,如f(x)=arctan(x)/(pi/2), f(x)=1/(1+e-x);
階躍函數;是sigmoid函數的不可導版本;
徑向基函數。是函數值沿從輸入空間中某點向外輻射的徑向射線變化的函數。在空間呈球形。