Wesloo
Alle ThemenThemen

Künstliche Intelligenz

Bestärkendes Lernen: Grundlagen und Funktionsweise

Kurze Antwort

Bestärkendes Lernen ist ein Teilgebiet des maschinellen Lernens, bei dem ein Agent durch Interaktion mit einer Umgebung und durch Belohnungen oder Strafen lernt, Entscheidungen zu treffen. Ziel ist eine Strategie, die den kumulierten Ertrag über viele Schritte maximiert. Typische Bausteine sind Zustand, Aktion, Belohnung, Policy und der Markov-Entscheidungsprozess.

Das Wichtigste

  • Ein autonomer Agent lernt durch Versuch und Irrtum, ohne dass ein Mensch jede Entscheidung vorgibt.
  • Belohnungen und Strafen bewerten Verhalten; optimiert wird der kumulierte Ertrag.
  • Exploration und Exploitation müssen ausbalanciert werden.
  • Online-RL nutzt frische Interaktionen, Offline-RL nutzt vorhandene Datensätze.
  • Dynamische Programmierung, Monte-Carlo- und TD-Methoden sind grundlegende Ansätze.

Was ist bestärkendes Lernen?

Bestärkendes Lernen gehört zum maschinellen Lernen: Ein Agent trifft Entscheidungen, indem er mit seiner Umgebung interagiert. Ein autonomer Agent kann dabei selbstständig handeln, ohne dass ein Mensch jede einzelne Aktion vorgibt. Er verbessert sein Verhalten durch Ausprobieren und Rückmeldung, nicht durch vorgegebene Einzelanweisungen. Das Verfahren eignet sich für Entscheidungsfolgen in unsicheren Situationen und ist für die KI-Entwicklung vielversprechend.

Im Gegensatz zu Ansätzen, die in beschrifteten oder unbeschrifteten Daten Muster finden, geht es hier um Handeln. Die Daten werden als zusammenhängende Folge von Zustand, Aktion und Belohnung betrachtet. Viele Anwendungen ahmen biologisches Lernen nach, bei dem positives Feedback ein Verhalten verstärkt.

Wie läuft der Agent-Umwelt-Kreislauf ab?

Der Agent beobachtet den aktuellen Zustand, wählt eine Aktion und führt sie in der Umgebung aus. Die Umgebung antwortet mit einem neuen Zustand und einer Belohnung. Diese Rückmeldung fließt in die nächste Entscheidung ein, sodass der Agent seine Strategie über Zeit verbessert.

Die Belohnung bewertet nicht unbedingt eine einzelne Aktion isoliert, sondern ihren Beitrag zur langfristigen Zielerreichung. Deshalb muss der Agent lernen, kurzfristige Nachteile in Kauf zu nehmen, wenn sie zu einem höheren Gesamtertrag führen. Genau diese zeitliche Verknüpfung macht das Problem anspruchsvoller als eine einfache Klassifikation.

Welche Begriffe sind zentral?

BegriffBedeutung
AgentEntscheidungsträger, der Aktionen ausführt
UmgebungSystem oder Welt, in der der Agent handelt
ZustandAktuelle Situation des Agenten
AktionMögliche Entscheidung oder Bewegung
BelohnungRückmeldung der Umgebung auf eine Aktion
PolicyRegel, die Zustände auf Aktionen abbildet

Die Belohnung kann positiv oder negativ ausfallen. Bei positiver Verstärkung macht ein durch das Verhalten ausgelöstes Ereignis dieses Verhalten wahrscheinlicher und stärker. Negative Rückmeldung kann unerwünschtes Verhalten reduzieren.

Was ist eine Policy?

Eine Policy legt fest, wie der Agent handelt. Sie kann aus einfachen Regeln oder aus aufwendigen Berechnungen bestehen. In einem selbstfahrenden Auto könnte sie etwa die Erkennung eines Fußgängers mit einem notwendigen Stopp verbinden. Außerdem kann sie deterministisch sein oder mehrere Aktionen mit Wahrscheinlichkeiten versehen.

Die Belohnungsfunktion kann als Teil der Policy dienen. Ein zentrales Ziel vieler Verfahren ist es, die optimale Policy zu finden, also die Strategie, die den erwarteten kumulierten Ertrag maximiert. Dazu werden Wertfunktionen verwendet, die einschätzen, wie gut ein Zustand oder eine Zustand-Aktion-Kombination ist.

Warum ist Exploration und Exploitation ein Dilemma?

Um Belohnungen zu maximieren, wählt der Agent zwischen dem Ausprobieren neuer Aktionen und dem Nutzen bekannter, guter Aktionen. Das Abwägen beider Strategien ist das Exploration-Exploitation-Dilemma. Zufälliges Ausprobieren ohne Bezug zu einer geschätzten Wahrscheinlichkeitsverteilung liefert schlechte Ergebnisse.

Endliche Markov-Entscheidungsprozesse mit wenigen Zuständen sind vergleichsweise gut erforscht. Bei vielen oder unendlich vielen Zuständen fehlen gut skalierende Verfahren, daher sind einfache Explorationsmethoden oft die praktikabelste Lösung. Erwartungen über den ganzen Zustandsraum zu berechnen ist bei großen Problemen unpraktisch; daher approximiert man sie über Stichproben und nutzt Funktionsapproximation. Funktionsapproximation, etwa mit einem künstlichen neuronalen Netz, hilft, Wertfunktionen über große Zustands-Aktions-Räume darzustellen.

Welche Rolle spielt der Markov-Entscheidungsprozess?

Die Beziehung zwischen Agent, Umgebung und Ziel wird in der Literatur häufig als Markov-Entscheidungsprozess beschrieben. Er bietet einen Rahmen für sequentielle Entscheidungen unter Unsicherheit. Die Bellman-Gleichung hilft, optimale Wertfunktionen und damit optimale Policies zu bestimmen.

Modelle sind optional. Sie erlauben dem Agenten, das Verhalten der Umgebung für mögliche Aktionen vorherzusagen. Ein selbstfahrendes Fahrzeug kann damit etwa beste Routen abschätzen oder das Verhalten anderer Fahrzeuge aus Position und Geschwindigkeit ableiten. Manche modellbasierten Verfahren nutzen zunächst direktes menschliches Feedback und später autonomes Lernen.

Wie unterscheidet sich bestärkendes Lernen von anderen Lernarten?

Überwachtes und unüberwachtes Lernen suchen Muster in beschrifteten oder unbeschrifteten Daten. Bestärkendes Lernen trainiert einen Agenten durch Interaktion mit der Umgebung. Die Daten werden als zusammenhängende Folge von Zustand, Aktion und Belohnung betrachtet. Im Mittelpunkt steht das Handeln, nicht nur die Beschreibung von Daten.

Diese Unterscheidung ist praktisch wichtig: Wenn ein Datensatz mit richtigen Antworten vorliegt, ist überwachtes Lernen oft direkter. Wenn ein Agent in einer Umgebung handeln und aus Rückmeldung lernen muss, ist bestärkendes Lernen der passende Rahmen.

Wie unterscheiden sich Online- und Offline-RL?

Online-RL lernt durch aktive Interaktion mit der Umgebung in Echtzeit: Der Agent sammelt während des Trainings neue Daten, indem er Aktionen ausführt und sofortiges Feedback beobachtet. Offline-RL, auch Batch-RL genannt, trainiert ausschließlich auf einem zuvor gesammelten statischen Datensatz. Diese Daten können von anderen Agenten, menschlichen Demonstrationen oder historischen Protokollen stammen; während des Lernens interagiert der Agent nicht mit der Umgebung.

Die Wahl hängt von Kosten, Risiko und Datenverfügbarkeit ab. Online-Verfahren können teuer oder gefährlich sein, wenn Fehler in der realen Welt Schaden anrichten. Offline-Verfahren nutzen vorhandene Daten, sind aber durch deren Qualität und Abdeckung begrenzt.

Was bedeutet positive Verstärkung?

Positive Verstärkung bedeutet, dass ein Verhalten durch seine Folgen häufiger und intensiver wird. Das Verhalten wird dadurch gefördert. Viele RL-Anwendungen ahmen biologische Lernmethoden nach, die auf positiver Verstärkung beruhen.

Positive Verstärkung kann die Leistung steigern und Veränderungen über Zeit aufrechterhalten. Zu viel davon kann jedoch zu übermäßigen Zuständen führen und die Wirkung schwächen. In der Praxis ist die Gestaltung der Belohnung daher ein eigener Entwurfsschritt.

Welche grundlegenden Methoden gibt es?

Die Forschung zu bestärkendem Lernen ist aktiv und vielfältig, mit zahlreichen Ansätzen. Drei häufig diskutierte Grundmethoden sind dynamische Programmierung, Monte-Carlo-Methoden und zeitliches Differenzlernen. Dynamische Programmierung nutzt Modelle der Umgebung und bestimmt optimale Policies über Wertfunktionen. Monte-Carlo-Methoden lernen aus vollständigen Episoden und Mittelwerten von Stichproben. Zeitliches Differenzlernen aktualisiert Schätzungen, sobald neue Informationen verfügbar sind, ohne auf das Ende einer Episode zu warten.

Die Methoden unterscheiden sich in ihren Annahmen über Modelle, Daten und Rechenkosten. In der Praxis werden sie oft mit Funktionsapproximation kombiniert, um große Zustandsräume handhabbar zu machen. Verwandte Themen sind Deep Learning und künstliche neuronale Netze.

Wo wird bestärkendes Lernen eingesetzt?

Ein Beispiel aus der Literatur ist die Routenplanung autonomer Fahrzeuge: Ein Modell kann beste Routen vorhersagen und das Verhalten umgebender Fahrzeuge anhand von Position und Geschwindigkeit einschätzen. Eine weitere genannte Anwendung ist die Verknüpfung von Fußgängererkennung mit notwendigen Stopps. Allgemein geht es um Entscheidungsfolgen in unsicheren Umgebungen.

Deep Reinforcement Learning und RL für große Sprachmodelle werden als eigene Themen behandelt; sie verbinden bestärkendes Lernen mit anderen Verfahren. Verwandt ist auch das Thema Was ist ein großes Sprachmodell?.

Welche Herausforderungen bleiben?

Trotz deutlicher Fortschritte gibt es Hürden, die einen breiten Einsatz in realen Situationen erschweren. Dazu gehören Skalierbarkeit auf große Zustandsräume, die Balance zwischen Exploration und Exploitation sowie die Abhängigkeit von einer sinnvollen Belohnungsgestaltung. Darüber wird weiter geforscht.

Weitere häufige Fragen

Was ist das Ziel bestärkenden Lernens?

Das Ziel ist eine Strategie, die den kumulierten Ertrag über viele Schritte maximiert. Belohnungen und Strafen bewerten das Verhalten des Agenten.

Braucht bestärkendes Lernen beschriftete Daten?

Nein, es lernt durch Interaktion mit einer Umgebung und Rückmeldung. Beschriftete Daten sind für überwachtes Lernen typisch.

Was ist der Unterschied zwischen Online- und Offline-RL?

Online-RL sammelt während des Trainings frische Daten durch Interaktion. Offline-RL nutzt einen vorhandenen statischen Datensatz und interagiert während des Lernens nicht.

Warum ist die Belohnungsgestaltung schwierig?

Die Belohnung muss langfristige Ziele abbilden. Eine schlechte Gestaltung kann zu unerwünschtem Verhalten führen.

Verwandte Seiten

  • KI-Alignment: Grundlagen und Herausforderungen

    KI-Alignment meint die Ausrichtung von KI-Modellen an menschlichen Werten und Zielen, damit sie hilfreich, sicher und zuverlässig arbeiten. Das Feld umfasst äußere und innere Ausrichtung, Methoden wie verstärkendes Lernen aus menschlichem Feedback und Red Teaming sowie Risiken wie täuschende Ausrichtung. Besonders bei leistungsfähigeren Modellen wird die Kontrolle schwieriger.

  • Maschinelles Sehen: Grundlagen und Anwendungen

    Maschinelles Sehen gehört zur künstlichen Intelligenz und hilft Computern, Bilder und Videos zu verstehen. Dabei kommen Bildverarbeitung und maschinelles Lernen zum Einsatz, um in visuellen Daten Objekte, Muster und verwertbare Hinweise zu finden. Anwendungen reichen von der medizinischen Bildanalyse bis zur Automatisierung in der Industrie.

  • Deep Learning: Grundlagen und Anwendungen

    Deep Learning ist ein Teilgebiet des maschinellen Lernens, das mit mehrschichtigen neuronalen Netzen arbeitet. Die Modelle lernen aus Daten und unterstützen Aufgaben wie Klassifikation, Spracherkennung und Bildanalyse. Hardware, Daten und Architektur bestimmen dabei Leistung und Einsatzmöglichkeiten.

  • Was ist ein großes Sprachmodell? Funktion und Aufbau

    Ein großes Sprachmodell ist ein System des maschinellen Lernens, das auf gewaltigen Textmengen trainiert wurde, um menschliche Sprache zu analysieren und zu erzeugen. Es basiert auf tiefen neuronalen Netzen mit Milliarden von Parametern, die statistische Muster und semantische Beziehungen abbilden. Anwender nutzen solche Modelle für Übersetzungen, Programmerstellung, Textzusammenfassungen und dialogbasierte Informationsabfragen.

  • Generative künstliche Intelligenz: Definition und Modelle

    Generative künstliche Intelligenz bezeichnet Systeme des maschinellen Lernens, die auf Basis von Nutzereingaben neue Inhalte wie Texte, Bilder oder Programmcode erstellen. Die Modelle lernen Gesetzmäßigkeiten aus großen Datenmengen und wenden diese zur Synthese neuer Artefakte an. Im Gegensatz zu reinen Klassifikatoren erzeugen generative Modelle eigenständige, kontextbezogene Ausgaben.

  • Natürliche Sprachverarbeitung: Funktion und Methoden

    Die natürliche Sprachverarbeitung verbindet Informatik, Computerlinguistik und maschinelles Lernen, um menschliche Sprache automatisiert zu analysieren, zu verstehen und zu erzeugen. Systeme wandeln unstrukturierte Text- und Sprachsignale über standardisierte Vorverarbeitungsschritte in mathematische Vektoren um, die statistische oder neuronale Modelle verarbeiten. Das Verfahren bildet das Fundament für automatisierte Übersetzungen, Dialogsysteme, Textklassifikationen und Informationsabfragen.

Wie diese Seite entstanden ist

Vor dem Schreiben wurde das Thema in den unten genannten Quellen recherchiert. Danach hat die Seite automatische Qualitätsprüfungen bestanden.

Einen Fehler auf dieser Seite melden