Czym jest w rzeczywistości sieć neuronowa? Otóż jest to architektura obliczeniowa składająca się z mało skomplikowanych części przetwarzających lub krócej neuronów ( co więcej nam mówi). Pracują one równocześnie i komunikują się ze sobą poprzez wysyłanie sygnałów. Neurony w sieci zazwyczaj występują dość licznie. W zadaniach uczenia się dotyczących rzeczywistych danych liczba neuronów rzędu kilkudziesięciu czy kilkuset jest na porządku dziennym. Sieci zawierające po kilka tysięcy neuronów są uważane za duże. Łatwo zatem domyśleć się, że siła sieci leży w liczbie neuronów, gęstości połączeń między nimi oraz odpowiednim dobraniu wag tychże połączeń, nie zaś w stopniu komplikacji poszczególnych elementów jakimi są neurony. W stworzonej już sieci wejścia neuronu tworzą połączenia z wyjściami innych, a co za tym idzie odpowiedzialne stają są za przepływ pochodzących od nich sygnałów. Ze względu na fakt, iż z każdym takim połączeniem skojarzona jest zawsze dokładnie jedna waga ( której wartość determinuje względną wartość poszczególnych wejść), często pojęcia waga oraz połączenie stosowane są zamiennie.