Wesloo
Tous les thèmesThèmes

Intelligence artificielle

Apprentissage par renforcement : principes et usages

Réponse courte

L'apprentissage par renforcement est une branche du machine learning où un agent apprend par essais et erreurs en interagissant avec un environnement. Il cherche à maximiser une récompense cumulée pour résoudre des problèmes de décision séquentielle. Les concepts clés sont l'agent, l'état, l'action, la récompense et la politique.

L’essentiel

  • Un agent apprend par interaction et retour, sans consigne humaine directe.
  • Le problème se formalise souvent comme un processus de décision markovien.
  • La politique indique quelle action choisir selon l'état.
  • L'exploration et l'exploitation doivent être équilibrées.
  • Les méthodes fondamentales incluent la programmation dynamique, Monte Carlo et la différence temporelle.

Qu'est-ce que l'apprentissage par renforcement ?

L'apprentissage par renforcement est une méthode de machine learning où un agent autonome apprend à décider en interagissant avec son environnement. L'apprentissage supervisé et l'apprentissage non supervisé cherchent des motifs dans des données étiquetées ou non; le renforcement, lui, forme un agent par interaction avec son environnement. Il apprend par essais et erreurs, sans qu'un humain le guide directement. À chaque étape, il observe un état, choisit une action, puis reçoit une récompense ou une pénalité. L'objectif est de maximiser la récompense cumulée sur la durée, pas seulement le gain immédiat. Elle sert surtout aux problèmes où il faut enchaîner des décisions dans un environnement incertain.

Les composants d'un système de renforcement

Un système de renforcement repose sur cinq éléments principaux. L'agent est le décideur; l'environnement est le monde dans lequel il agit. L'état décrit la situation actuelle, l'action est un mouvement possible, et la récompense est le retour fourni par l'environnement. La politique complète ce tableau: elle indique quelle action choisir selon l'état. Les données forment des suites liées, organisées en tuples état-action-récompense.

ÉlémentRôle
AgentPrend les décisions et apprend de ses résultats.
EnvironnementRéagit aux actions et fournit les états et récompenses.
ÉtatRésume la situation utile pour choisir la prochaine action.
ActionMouvement ou décision possible à un instant donné.
RécompenseSignal numérique qui évalue la qualité d'une action.

Politique, récompense et fonction de valeur

La politique définit le comportement de l'agent en associant des états à des actions; elle peut être simple ou complexe. La récompense sert de signal pour améliorer cette politique. On cherche la politique optimale, celle qui maximise la récompense cumulée attendue. Trouver cette politique optimale est un objectif central de la programmation dynamique. La fonction de valeur estime le gain futur attendu d'un état ou d'une action; elle aide à comparer des choix sans attendre la fin d'un épisode.

Le processus de décision markovien

La littérature décrit souvent la relation entre agent, environnement et objectif comme un processus de décision markovien. Dans ce cadre, l'état actuel contient l'information utile pour choisir la prochaine action; le futur dépend de l'état présent et de l'action choisie. Ce formalisme fournit un langage commun pour décrire transitions, récompenses et objectifs. Il structure la recherche de la meilleure politique, mais ne rend pas le problème trivial. Calculer exactement ces fonctions demande des espérances sur tout l'espace des états, ce qui n'est faisable que pour les plus petits cas.

Exploration et exploitation

Il doit choisir entre essayer de nouvelles actions pour mieux connaître l'environnement et utiliser ce qu'il sait déjà pour obtenir la meilleure récompense. Ce dilemme est central dans l'apprentissage par renforcement. Il faut des mécanismes d'exploration astucieux; choisir des actions au hasard, sans distribution estimée, donne de mauvais résultats. Les petits processus de décision markoviens finis sont relativement bien compris, mais le passage à l'échelle avec le nombre d'états reste difficile.

Trois méthodes fondamentales

On cite souvent trois méthodes fondamentales: la programmation dynamique, Monte Carlo et la différence temporelle. La programmation dynamique suppose un modèle de l'environnement disponible et utilise des équations de Bellman pour trouver la politique optimale. Les méthodes de Monte Carlo apprennent à partir d'épisodes complets, en moyennant les récompenses observées. L'apprentissage par différence temporelle combine des idées des deux: il met à jour les estimations à partir de prédictions partielles, sans attendre la fin d'un épisode. Pour les grands espaces état-action, on approxime les espérances par moyennage sur des échantillons et on utilise des techniques d'approximation de fonction.

  1. Programmation dynamique: utilise un modèle et des équations de Bellman.
  2. Monte Carlo: apprend à partir d'épisodes complets.
  3. Différence temporelle: met à jour les estimations à partir de prédictions partielles.

Modèle, apprentissage en ligne et hors ligne

Un modèle est facultatif. Il aide l'agent à prévoir le comportement de l'environnement pour des actions possibles. Avec un modèle, l'agent peut comparer des trajectoires avant d'agir. Lorsqu'un modèle est disponible, une partie du travail ressemble à de la planification; sans modèle, l'agent doit apprendre par interaction réelle. Certains systèmes avec modèle commencent par un retour humain direct, puis deviennent plus autonomes.

On distingue aussi l'apprentissage en ligne et l'apprentissage hors ligne. En ligne, l'agent apprend en interagissant en temps réel avec l'environnement et en collectant de nouvelles données pendant l'entraînement. Hors ligne, il apprend à partir d'un ensemble statique de données déjà collectées, comme des démonstrations humaines ou des journaux historiques, sans interagir pendant l'apprentissage. Le premier convient quand l'interaction est possible et sûre; le second aide quand l'interaction est coûteuse ou risquée.

Renforcement positif

Le renforcement positif est un événement qui, après un comportement, en augmente la force et la fréquence. De nombreuses applications cherchent à imiter l'apprentissage biologique par renforcement positif. Avantages: il peut améliorer la performance et aider à maintenir un changement. Inconvénient: un usage excessif peut créer des états superflus et réduire l'efficacité.

Applications et liens avec d'autres domaines de l'IA

L'apprentissage par renforcement s'applique aux situations où une séquence de décisions compte. On le retrouve dans le contrôle de systèmes, les jeux, la robotique, la recommandation et la gestion de ressources. Dans les jeux, l'agent apprend une stratégie par récompenses; dans la robotique, il apprend des mouvements; dans la recommandation, il optimise une séquence d'interactions. Il se combine souvent avec d'autres techniques. La vision par ordinateur fournit des perceptions; l'apprentissage profond fournit des représentations; les réseaux de neurones artificiels servent souvent de fonction d'approximation. Dans les grands modèles de langage, des méthodes de renforcement peuvent aussi s'appliquer à ces systèmes. Quand la politique ou la fonction de valeur est représentée par un réseau de neurones, on parle souvent d'apprentissage par renforcement profond.

Défis et limites

Malgré les progrès, son déploiement à grande échelle reste difficile. Les défis incluent l'exploration efficace et le passage à l'échelle. Les processus de décision markoviens finis sont relativement bien compris, mais le passage à grande échelle reste difficile. Les calculs exacts sur tout l'espace des états sont impraticables; on utilise des approximations par échantillonnage et des techniques d'approximation de fonction. La recherche reste active et de nombreuses approches coexistent.

Autres questions fréquentes

Qu'est-ce qu'un agent en apprentissage par renforcement ?

C'est le décideur qui observe un état, choisit une action et apprend de la récompense reçue.

À quoi sert la récompense ?

Elle évalue la qualité d'une action et guide l'amélioration de la politique de l'agent.

Qu'est-ce qu'une politique ?

C'est la règle qui associe des états à des actions pour définir le comportement de l'agent.

Quelle est la différence entre apprentissage en ligne et hors ligne ?

En ligne, l'agent interagit en temps réel avec l'environnement; hors ligne, il apprend à partir de données déjà collectées.

Pourquoi l'exploration est-elle importante ?

Elle permet à l'agent de découvrir de meilleures actions au lieu de se limiter à ce qu'il connaît déjà.

Pages liées

  • Alignement de l'IA : définition et enjeux

    L'alignement de l'IA vise à intégrer des valeurs et des objectifs humains dans un modèle afin qu'il soit utile, sûr et fiable. Il vise à faire adopter au système le bon comportement dans des situations nouvelles, et non seulement à suivre littéralement des instructions. Les techniques incluent le retour humain, les données synthétiques, le red teaming et le réglage contrastif.

  • Vision par ordinateur : définition et usages

    La vision par ordinateur est un domaine de l'intelligence artificielle qui aide des machines à comprendre des images et des vidéos. Elle combine traitement d'image, apprentissage automatique et apprentissage profond pour extraire des informations utiles. Ses usages vont de la détection d'objets à l'imagerie médicale.

  • Grand modèle de langage : définition et usages

    Un grand modèle de langage est une IA formée sur d'immenses corpus textuels pour comprendre et générer du langage humain. Il repose sur des réseaux de neurones profonds comportant des milliards de paramètres. Il sert à répondre à des questions, traduire, résumer, générer du code et d'autres tâches linguistiques.

  • Apprentissage profond : principes et applications

    L'apprentissage profond est une branche de l'apprentissage automatique qui emploie des réseaux de neurones à plusieurs couches pour apprendre des représentations à partir de données. Il sert notamment à la vision par ordinateur, au traitement du langage et à la reconnaissance vocale. Ses résultats dépendent de la qualité des données, de l'architecture choisie et de la puissance de calcul disponible.

  • Intelligence artificielle générative : fonctionnement

    L'intelligence artificielle générative regroupe les technologies capables de concevoir des contenus originaux tels que des textes, des images, du code logiciel ou des sons en réponse à des consignes textuelles. Elle s'appuie sur des modèles d'apprentissage profond entraînés sur de vastes volumes de données pour déceler et reproduire des structures statistiques complexes. Contrairement aux approches discriminatives qui classent les données, ces architectures synthétisent de nouveaux échantillons conformes aux distributions apprises.

  • Traitement automatique du langage naturel

    Le traitement automatique du langage naturel est une discipline de l'intelligence artificielle et de l'informatique dédiée à l'interprétation et à la génération du langage humain par les machines. En associant la linguistique computationnelle à l'apprentissage automatique et aux réseaux profonds, cette technologie transforme des données textuelles ou vocales brutes en informations structurées et exploitables.

Comment cette page a été préparée

Avant la rédaction, le sujet a été étudié dans les sources ci-dessous. La page a ensuite passé des contrôles de qualité automatiques.

Signaler une erreur sur cette page