Sieci neuronowe swój rozwój zapoczątkowują w latach czterdziestych ubiegłego wieku. Zaczęło się to od prób opisania w matematyczny sposób komórki nerwowej. Zauważano wtedy jedną po drugiej własności neuronu, jak również zbudowanych poprzez ich różnorakie połączenia – sieci neuronowych. Samo stworzenie „sztuczności” poprzez zapisywanie matematycznych równań stało się dużo trudniejsze niż początkowo mogłoby się wydawać. Samo modelowanie, a raczej jego próby, pracy komórek nerwowych zwierząt, okazało się sprawą nadzwyczaj skomplikowaną. Wiemy bowiem, że nawet przy jak największych uproszczeniach, jakie można by wprowadzić modelowanie działania błony komórkowej neuronu wymaga opisu w postaci złożonego równania różniczkowego i wielu parametrów. W latach czterdziestych, kiedy to te działania zaczynały kiełkować były to działania niewykonalne dla ówczesnych maszyn liczbowych, nawet dla dzisiejszych naukowców i maszyn jakie mają pod rękom stanowi to niemałe wyzwanie. Po długich badaniach i kilkuletnich obserwacjach okazało się, iż wszystkie modele funkcjonowania komórek nerwowych charakteryzują się właściwościami, które to zapoczątkowały rozwój sztucznych sieci neuronowych. Odkrycie to pomogło niesamowicie w dalszych działaniach, których efekty cały czas obserwujemy.