Reinforcement Learning: Definition, Algorithmen, Arten & Beispiele

Grundlagen der Künstlichen Intelligenz | 0 Kommentare

Was ist Reinforcement Learning?

Verstärkungslernen ist definiert als eine Methode des maschinellen Lernens, die sich damit beschäftigt, wie Software-Agenten in einer Umgebung handeln sollten. Reinforcement Learning ist ein Teil der Deep Learning-Methode, die dir hilft, einen Teil der kumulativen Belohnung zu maximieren.

Diese Lernmethode für neuronale Netze hilft dir zu lernen, wie du ein komplexes Ziel erreichst oder eine bestimmte Dimension über viele Schritte hinweg maximierst.

Im Reinforcement Learning Tutorium lernst du:

Was ist Reinforcement Learning?
Wichtige Komponenten der Deep Reinforcement Learning Methode
Wie funktioniert Reinforcement Learning?
Algorithmen des Reinforcement Learning
Merkmale des Reinforcement Learning
Arten des Verstärkungslernens
Lernmodelle des Verstärkungslernens
Verstärkungslernen vs. überwachtes Lernen
Anwendungen von Reinforcement Learning
Warum Reinforcement Learning anwenden?
Wann sollte man Reinforcement Learning nicht einsetzen?
Herausforderungen des Reinforcement Learning

Wichtige Komponenten der Deep Reinforcement Learning Methode

Hier sind einige wichtige Begriffe, die in der Reinforcement AI verwendet werden:

Agent: Das ist eine angenommene Entität, die in einer Umgebung Handlungen ausführt, um eine Belohnung zu erhalten.
Umwelt (e): Ein Szenario, dem sich ein Agent stellen muss.
Belohnung (R): Eine unmittelbare Belohnung, die ein Agent erhält, wenn er oder sie eine bestimmte Handlung oder Aufgabe ausführt.
Zustand(e): Der Status bezieht sich auf die aktuelle Situation, die von der Umgebung zurückgegeben wird.
Politik (π): Es ist eine Strategie, die der Agent anwendet, um die nächste Aktion auf der Grundlage des aktuellen Zustands zu entscheiden.
Wert (V): Er ist die erwartete langfristige Rendite mit einem Abschlag im Vergleich zur kurzfristigen Rendite.
Wertfunktion: It gibt den Wert eines Zustands an, der den Gesamtbetrag der Belohnung darstellt. Es ist ein Mittel, das von diesem Zustand aus erwartet werden sollte.
Modell der Umwelt: Damit wird das Verhalten der Umwelt nachgeahmt. Es hilft dir dabei, Rückschlüsse zu ziehen und zu bestimmen, wie sich die Umwelt verhalten wird.
Modellbasierte Methoden: Es ist eine Methode zur Lösung von Verstärkungslernproblemen, die modellbasierte Methoden verwendet.
Q-Wert oder Aktionswert (Q): Q-Wert ist dem Wert sehr ähnlich. Der einzige Unterschied zwischen den beiden ist, dass er einen zusätzlichen Parameter als aktuelle Aktion annimmt.

Wie funktioniert Reinforcement Learning?

Sehen wir uns ein einfaches Beispiel an, das dir hilft, den Mechanismus des Verstärkungslernens zu veranschaulichen.

Betrachte das Szenario, in dem du deiner Katze neue Tricks beibringst

Da die Katze weder Englisch noch eine andere menschliche Sprache versteht, können wir ihr nicht direkt sagen, was sie tun soll. Stattdessen müssen wir eine andere Strategie verfolgen.
Wir stellen eine Situation nach und die Katze versucht, auf viele verschiedene Arten zu reagieren. Wenn die Katze auf die gewünschte Weise reagiert, geben wir ihr Fisch.
Wann immer die Katze nun der gleichen Situation ausgesetzt ist, führt sie eine ähnliche Handlung mit noch größerem Eifer aus, in der Erwartung, mehr Belohnung (Futter) zu bekommen.
Das ist so, als würde die Katze durch positive Erfahrungen lernen, „was sie tun soll“.
Gleichzeitig lernt die Katze aber auch, was sie nicht tun soll, wenn sie mit negativen Erfahrungen konfrontiert wird.

Beispiel für Verstärkungslernen

Wie Reinforcement Learning funktioniert

In diesem Fall,

Deine Katze ist ein Mittel, das der Umwelt ausgesetzt ist. In diesem Fall ist es dein Haus. Ein Beispiel für einen Zustand könnte sein, dass deine Katze sitzt und du ein bestimmtes Wort in für Katze zu gehen verwendest.
Unser Agent reagiert, indem er einen Aktionsübergang von einem „Zustand“ zu einem anderen „Zustand“ durchführt.
Deine Katze geht zum Beispiel vom Sitzen zum Laufen über.
Die Reaktion eines Agenten ist eine Aktion, und die Strategie ist eine Methode, um eine Aktion in einem bestimmten Zustand auszuwählen, in der Erwartung eines besseren Ergebnisses.
Nach dem Übergang kann er dafür eine Belohnung oder eine Strafe erhalten.

Algorithmen des Verstärkungslernens

Es gibt drei Ansätze, um einen Reinforcement Learning Algorithmus zu implementieren.

Wertbasiert:

Bei einer wertbasierten Reinforcement Learning Methode solltest du versuchen, eine Wertfunktion zu maximieren V(s). Bei dieser Methode erwartet der Agent eine langfristige Rückkehr der aktuellen Zustände unter Politik π.

Politikbasiert:

Bei einer richtlinienbasierten RL-Methode versuchst du, eine solche Richtlinie zu entwickeln, dass die in jedem Zustand ausgeführte Aktion dir hilft, in der Zukunft eine maximale Belohnung zu erhalten.

Zwei Arten von richtlinienbasierten Methoden sind:

Deterministisch: Für jeden Zustand wird die gleiche Aktion durch die Politik π erzeugt.
Stochastisch: Jede Aktion hat eine bestimmte Wahrscheinlichkeit, die durch die folgende Gleichung bestimmt wird.Stochastische Politik :
```
n{a\s) = P\A, = a\S, =S]
```

Modellbasiert:

Bei dieser Reinforcement Learning-Methode musst du für jede Umgebung ein virtuelles Modell erstellen. Der Agent lernt, sich in dieser speziellen Umgebung zu verhalten.

Merkmale des Reinforcement Learning

Hier sind wichtige Merkmale des Verstärkungslernens

Es gibt keine Aufsichtsperson, nur eine reale Zahl oder ein Belohnungssignal
Sequentielle Entscheidungsfindung
Zeit spielt bei Verstärkungsproblemen eine entscheidende Rolle
Feedback ist immer verzögert, nicht sofort
Die Aktionen des Agenten bestimmen die nachfolgenden Daten, die er erhält

Arten von Reinforcement Learning

Zwei Arten von Reinforcement Learning-Methoden sind:

Positiv:

Es ist definiert als ein Ereignis, das aufgrund eines bestimmten Verhaltens eintritt. Es erhöht die Stärke und Häufigkeit des Verhaltens und wirkt sich positiv auf die Handlung des Akteurs aus.

Diese Art von Verstärkung hilft dir, deine Leistung zu maximieren und Veränderungen über einen längeren Zeitraum aufrechtzuerhalten. Zu viel Reinforcement kann jedoch zu einer Überoptimierung des Zustands führen, was die Ergebnisse beeinträchtigen kann.

Negativ:

Negative Verstärkung wird als Verstärkung eines Verhaltens definiert, das aufgrund einer negativen Bedingung auftritt, die eigentlich hätte gestoppt oder vermieden werden müssen. Sie hilft dir dabei, den Mindeststandard der Leistung zu definieren. Der Nachteil dieser Methode ist jedoch, dass sie nicht ausreicht, um das Mindestverhalten zu erreichen.

Lernmodelle der Verstärkung

Beim Verstärkungslernen gibt es zwei wichtige Lernmodelle:

Markov-Entscheidungsprozess
Q Lernen

Markov-Entscheidungsprozess

Die folgenden Parameter werden verwendet, um eine Lösung zu erhalten:

Menge der Aktionen – A
Menge der Zustände -S
Belohnung- R
Politik- n
Wert- V

Der mathematische Ansatz für die Abbildung einer Lösung beim Reinforcement Learning wird als Markov Decision Process oder (MDP) bezeichnet.

Q-Learning

Q-Learning ist eine wertbasierte Methode, die Informationen darüber liefert, welche Aktion ein Agent ausführen sollte.

Lass uns diese Methode anhand des folgenden Beispiels verstehen:

In einem Gebäude gibt es fünf Räume, die durch Türen miteinander verbunden sind.
Jeder Raum ist von 0 bis 4 nummeriert
Die Außenseite des Gebäudes kann ein großer Außenbereich sein (5)
Die Türen Nummer 1 und 4 führen von Raum 5 in das Gebäude

Als nächstes musst du jeder Tür einen Belohnungswert zuordnen:

Türen, die direkt zum Ziel führen, haben eine Belohnung von 100
Türen, die nicht direkt mit dem Zielraum verbunden sind, geben null Belohnung
Da die Türen in zwei Richtungen gehen und jedem Raum zwei Pfeile zugeordnet sind
Jeder Pfeil im obigen Bild enthält einen sofortigen Belohnungswert

Erläuterung:

In diesem Bild kannst du sehen, dass der Raum einen Staat darstellt

Die Bewegung des Agenten von einem Raum in einen anderen stellt eine Aktion dar

In der untenstehenden Abbildung wird ein Zustand als Knoten beschrieben, während die Pfeile die Aktion anzeigen.

Beispiel: Ein Agent geht von Raum Nummer 2 nach 5

Ausgangszustand = Zustand 2
Zustand 2-> Zustand 3
Zustand 3 -> Zustand (2,1,4)
Zustand 4-> Zustand (0,5,3)
Zustand 1-> Zustand (5,3)
Zustand 0-> Zustand 4

Reinforcement Learning vs. Supervised Learning

Parameter	Reinforcement Learning	Überwachtes Lernen
Entscheidungsstil	Verstärkungslernen hilft dir, deine Entscheidungen sequentiell zu treffen.	Bei dieser Methode wird eine Entscheidung aufgrund der zu Beginn gegebenen Eingabe getroffen.
Arbeitet an	Arbeitet an der Interaktion mit der Umwelt.	Arbeitet mit Beispielen oder vorgegebenen Beispieldaten.
Abhängigkeit von der Entscheidung	Bei der RL-Methode ist die Lernentscheidung abhängig. Deshalb solltest du allen abhängigen Entscheidungen Labels geben.	Beim überwachten Lernen sind die Entscheidungen unabhängig voneinander, daher werden für jede Entscheidung Kennzeichnungen vergeben.
Am besten geeignet	Unterstützt und funktioniert besser in der KI, wo die menschliche Interaktion vorherrscht.	Sie wird meist mit einem interaktiven Softwaresystem oder Anwendungen betrieben.
Beispiel	Schachspiel	Objekterkennung

Anwendungen von Reinforcement Learning

Hier sind einige Anwendungen von Reinforcement Learning:

Robotik für die industrielle Automatisierung.
Planung der Unternehmensstrategie
Maschinelles Lernen und Datenverarbeitung
Es hilft dir dabei, Trainingssysteme zu erstellen, die maßgeschneiderten Unterricht und Materialien entsprechend den Anforderungen der Schüler/innen anbieten.
Flugzeugsteuerung und Bewegungssteuerung von Robotern

Warum Reinforcement Learning verwenden?

Hier sind die wichtigsten Gründe für den Einsatz von Reinforcement Learning:

Es hilft dir, herauszufinden, welche Situation eine Handlung erfordert
Er hilft dir herauszufinden, welche Aktion über einen längeren Zeitraum die höchste Belohnung bringt.
Beim Reinforcement Learning erhält der lernende Agent auch eine Belohnungsfunktion.
Sie ermöglicht es ihm auch, die beste Methode zu finden, um große Belohnungen zu erhalten.

Wann sollte man Reinforcement Learning nicht einsetzen?

Du kannst das Reinforcement Learning Modell nicht in allen Situationen anwenden. Hier sind einige Bedingungen, unter denen du das Reinforcement Learning Modell nicht anwenden solltest.

Wenn du genug Daten hast, um das Problem mit einer überwachten Lernmethode zu lösen
Du musst bedenken, dass Reinforcement Learning sehr rechen- und zeitaufwändig ist, vor allem wenn der Aktionsraum groß ist.

Herausforderungen des Reinforcement Learning

Hier sind die wichtigsten Herausforderungen, denen du beim Reinforcement Learning begegnen wirst:

Feature/Belohnungsdesign, das sehr involviert sein sollte
Die Parameter können die Lerngeschwindigkeit beeinflussen.
Realistische Umgebungen können teilweise beobachtbar sein.
Zu viel Verstärkung kann zu einer Überlastung der Zustände führen, was die Ergebnisse schmälern kann.
Realistische Umgebungen können nicht stationär sein.

Zusammenfassung:

Reinforcement Learning ist eine Methode des maschinellen Lernens
Sie hilft dir herauszufinden, welche Aktion über einen längeren Zeitraum die höchste Belohnung bringt.
Es gibt drei Methoden für das Verstärkungslernen: 1) wertbasiertes 2) richtlinienbasiertes und modellbasiertes Lernen.
Agent, Zustand, Belohnung, Umwelt, Wertfunktion, Modell der Umwelt, modellbasierte Methoden sind einige wichtige Begriffe, die in der RL-Lernmethode verwendet werden.
Ein Beispiel für Verstärkungslernen: Deine Katze ist ein Agent, der der Umwelt ausgesetzt ist.
Das größte Merkmal dieser Methode ist, dass es keine Aufsichtsperson gibt, sondern nur eine reale Zahl oder ein Belohnungssignal
Es gibt zwei Arten des Verstärkungslernens: 1) Positiv 2) Negativ
Zwei weit verbreitete Lernmodelle sind 1) Markov Decision Process 2) Q-Learning
Die Methode des Reinforcement Learning arbeitet mit der Interaktion mit der Umgebung, während die Methode des überwachten Lernens mit vorgegebenen Beispieldaten oder Beispielen arbeitet.
Anwendungsgebiete oder Methoden des Reinforcement Learning sind: Robotik für die industrielle Automatisierung und Unternehmensstrategieplanung
Du solltest diese Methode nicht verwenden, wenn du genügend Daten hast, um das Problem zu lösen
Die größte Herausforderung bei dieser Methode ist, dass die Parameter die Lerngeschwindigkeit beeinflussen können