具有實用價值的人工神經元網路模型大多是基於MP神經元模型構建的，系統的輸入為與時間無關的常量，即網路的輸入是幾何點式的瞬時輸入。
然而，生物神經學研究結果表明：在
生物神經元中，
突觸的輸出變化與輸入
脈衝的相對定時有關，依賴於持續一定時間的輸入過程。此外，在一些實際問題中，許多系統的輸入也往往是一個過程，或依賴於時空變化的
函數；系統的輸出不僅與系統當前的輸入有關，也與過去一段時間內輸入的累積效應有關。
在應用傳統
神經元網路模型解決時變系統輸入輸出問題時，通常的方法是將時間關係轉換為空間關係（時間序列）之後再進行處理，但這樣會導致網路規模的迅速擴大，而傳統神經元網路實際上還難以解決較大樣本的學習和泛化問題，同時這樣處理也難於滿足系統實時性要求和反映時變輸入信息對輸出的累積效應。
針對上述問題，國內學者
何新貴院士和許少華教授將傳統神經元網路擴展到時間域，提出和建立了一種新的人工神經元網路模型—過程神經元網路。過程神經元網路是作者提出的一種新型神經元網路，其輸入和輸出可以是時變過程或時變函數、
多元函數乃至是抽象距離空間中的“點”，對輸入的加工包括多元聚合和累積，特別是空間聚合和時間累積。過程神經元網路理論可應用於過程建模、系統辨識、過程式控制制、聚類分類、過程優化、預測預報、評估決策以及宏觀控制等領域。