Backpropagation im neuronalen Netz: Algorithmus für maschinelles Lernen

Bevor wir Back Propagation Neural Network (BPNN) lernen, müssen wir es verstehen:

Was sind künstliche neuronale Netze?

Ein neuronales Netzwerk ist eine Gruppe von miteinander verbundenen E/A-Einheiten, bei denen jede Verbindung ein Gewicht hat, das mit den Computerprogrammen verknüpft ist. Es hilft dir, aus großen Datenbanken Vorhersagemodelle zu erstellen. Dieses Modell baut auf dem menschlichen Nervensystem auf. Es hilft dir, Bilder zu verstehen, menschliches Lernen, Computersprache usw.

Backpropagation in neuronalen Netzen ist eine Kurzform für „Rückwärtsfortpflanzung von Fehlern“. Es ist eine Standardmethode für das Training künstlicher neuronaler Netze. Mit dieser Methode lässt sich der Gradient einer Verlustfunktion in Bezug auf alle Gewichte im Netz berechnen.

In diesem Lernprogramm lernst du:

• Was sind künstliche neuronale Netze?
• Was ist Backpropagation?
• Wie funktioniert der Backpropagation-Algorithmus?
• Warum brauchen wir Backpropagation?
• Was ist ein Feed Forward Netzwerk?
• Arten von Backpropagation-Netzwerken
• Geschichte der Backpropagation
• Backpropagation Kernpunkte
• Best Practice Backpropagation
• Nachteile bei der Verwendung von Backpropagation

ErrorB= Actual Output – Desired Output

Warum brauchen wir Backpropagation?

Die wichtigsten Vorteile der Backpropagation sind:

• Backpropagation ist schnell, einfach und leicht zu programmieren
• Außer der Anzahl der Eingaben müssen keine Parameter eingestellt werden.
• Es ist eine flexible Methode, da sie keine Vorkenntnisse über das Netz erfordert
• Sie ist eine Standardmethode, die im Allgemeinen gut funktioniert
• Sie benötigt keine besondere Erwähnung der Merkmale der zu lernenden Funktion.

Was ist ein Feed Forward Network?

Ein neuronales Netz mit Vorwärtskopplung ist ein künstliches neuronales Netz, bei dem die Knoten nie einen Zyklus bilden. Diese Art von neuronalem Netz hat eine Eingabeschicht, versteckte Schichten und eine Ausgabeschicht. Es ist der erste und einfachste Typ eines künstlichen neuronalen Netzes.

Arten von Backpropagation-Netzwerken

Zwei Arten von Backpropagation Networks sind:

• Statische Backpropagation
• Rekurrente Backpropagation

Statische Backpropagation:

Es ist eine Art von Backpropagation-Netzwerk, das eine statische Eingabe auf eine statische Ausgabe abbildet. Es ist nützlich, um statische Klassifizierungsprobleme wie die optische Zeichenerkennung zu lösen.

Rekurrente Backpropagation:

Bei der rekurrenten Backpropagation im Data Mining wird so lange vorwärts gerechnet, bis ein fester Wert erreicht ist. Danach wird der Fehler berechnet und rückwärts propagiert.

Der Hauptunterschied zwischen diesen beiden Methoden besteht darin, dass die Zuordnung bei der statischen Backpropagation schnell erfolgt, während sie bei der rekurrenten Backpropagation nicht statisch ist.

Geschichte der Backpropagation

• 1961 wurde das Grundkonzept der kontinuierlichen Backpropagation im Rahmen der Kontrolltheorie von J. Kelly, Henry Arthur und E. Bryson entwickelt.
• 1969 stellten Bryson und Ho eine mehrstufige Methode zur Optimierung dynamischer Systeme vor.
• 1974 wies Werbos auf die Möglichkeit hin, dieses Prinzip in einem künstlichen neuronalen Netz anzuwenden.
• 1982 brachte Hopfield seine Idee eines neuronalen Netzes ein.
• Im Jahr 1986 wurde die Backpropagation durch die Bemühungen von David E. Rumelhart, Geoffrey E. Hinton und Ronald J. Williams bekannt.
• 1993 war Wan die erste Person, die mit Hilfe der Backpropagation-Methode einen internationalen Mustererkennungswettbewerb gewann.

Backpropagation Kernpunkte

• Vereinfacht die Netzwerkstruktur durch gewichtete Elemente, die den geringsten Einfluss auf das trainierte Netzwerk haben
• Du musst eine Gruppe von Eingabe- und Aktivierungswerten untersuchen, um die Beziehung zwischen den Schichten der Eingabe- und der versteckten Einheit zu entwickeln.
• Sie hilft dabei, die Auswirkungen einer bestimmten Eingangsvariablen auf den Ausgang eines Netzwerks zu beurteilen. Die aus dieser Analyse gewonnenen Erkenntnisse sollten in Regeln dargestellt werden.
• Backpropagation ist besonders nützlich für tiefe neuronale Netze, die an fehleranfälligen Projekten wie der Bild- oder Spracherkennung arbeiten.
• Backpropagation macht sich die Ketten- und Potenzregeln zunutze, die es Backpropagation ermöglichen, mit einer beliebigen Anzahl von Ausgängen zu funktionieren.

Best Practice Backpropagation

Backpropagation in neuronalen Netzwerken kann mit Hilfe der Analogie „Schuhspitze“ erklärt werden

Zu wenig Spannung =

• Zu wenig Spannung und sehr locker

Zu viel Spannung =

• Zu viel Zwang (Übertraining)
• Zu viel Zeitaufwand (relativ langsamer Prozess)
• Höhere Wahrscheinlichkeit eines Bruchs

An einem Schnürsenkel mehr ziehen als am anderen =

• Unbehagen (Voreingenommenheit)

Nachteile bei der Verwendung von Backpropagation

• Die tatsächliche Leistung der Backpropagation bei einem bestimmten Problem ist von den Eingabedaten abhängig.
• Der Backpropagation-Algorithmus im Data Mining kann sehr empfindlich auf verrauschte Daten reagieren
• Du musst den matrixbasierten Ansatz für Backpropagation anstelle von Mini-Batch verwenden.

Zusammenfassung

• Ein neuronales Netzwerk ist eine Gruppe von miteinander verbundenen It-I/O-Einheiten, bei denen jede Verbindung ein Gewicht hat, das mit den Computerprogrammen verknüpft ist.
• Backpropagation ist eine Kurzform für „Rückwärtsfortpflanzung von Fehlern“. Es ist eine Standardmethode für das Training künstlicher neuronaler Netze.
• Der Backpropagation-Algorithmus im maschinellen Lernen ist schnell, einfach und leicht zu programmieren
• Ein Feedforward-BPN-Netz ist ein künstliches neuronales Netz.
• Es gibt zwei Arten von Backpropagation-Netzen: 1) Statische Backpropagation 2) Rekurrente Backpropagation
• 1961 wurde das grundlegende Konzept der kontinuierlichen Backpropagation im Rahmen der Kontrolltheorie von J. Kelly, Henry Arthur und E. Bryson entwickelt.
• Backpropagation im Data Mining vereinfacht die Netzwerkstruktur, indem gewichtete Verbindungen entfernt werden, die einen minimalen Einfluss auf das trainierte Netzwerk haben.
• Es ist besonders nützlich für tiefe neuronale Netze, die an fehleranfälligen Projekten arbeiten, wie z.B. Bild- oder Spracherkennung.
• Der größte Nachteil der Backpropagation ist, dass sie empfindlich auf verrauschte Daten reagieren kann.