Aprendizaje por refuerzo: qué es y cómo funciona
Respuesta breve
En el aprendizaje por refuerzo, un agente de aprendizaje automático toma decisiones al interactuar con un entorno y recibe recompensas o penalizaciones. Busca maximizar la recompensa total en problemas donde las decisiones se toman en secuencia. Los textos especializados suelen describirlo como un proceso de decisión de Markov.
Puntos clave
- Un agente aprende por prueba y error sin instrucciones detalladas para cada situación.
- La interacción se organiza como estado, acción y recompensa.
- La política define qué acción tomar en cada estado.
- Exploración y explotación deben equilibrarse.
- Puede ser en línea o fuera de línea según el origen de los datos.
Aprendizaje por refuerzo: definición y propósito
El aprendizaje por refuerzo es una rama del aprendizaje automático en la que un agente aprende a tomar decisiones interactuando con un entorno. El agente no recibe instrucciones detalladas para cada caso; aprende mediante prueba y error. Cada acción provoca una respuesta del entorno, que suele ser una recompensa o una penalización. Su meta es maximizar la recompensa acumulada con el tiempo, no solo la inmediata.
Se aplica sobre todo a problemas de decisión secuencial en entornos inciertos. Los datos llegan como secuencias ordenadas de estado, acción y recompensa, no como ejemplos independientes. Por eso se distingue de métodos que aprenden con datos etiquetados o sin etiquetar. Muchas aplicaciones intentan imitar el aprendizaje biológico mediante refuerzo positivo.
La relación básica consta de tres partes: agente, entorno y objetivo. En esa formulación, el agente observa un estado, elige una acción y el entorno responde con un nuevo estado y una recompensa.
Cómo funciona el ciclo agente-entorno
En cada paso, el agente percibe el estado actual del entorno. A partir de ese estado elige una acción posible. El entorno responde con un nuevo estado y una recompensa. El agente usa esa señal para ajustar su comportamiento futuro.
Los elementos básicos son:
- Agente: el sistema que decide y actúa.
- Entorno: el sistema o mundo con el que interactúa.
- Estado: la situación actual del agente.
- Acción: una decisión posible en ese estado.
- Recompensa: la señal de retroalimentación del entorno.
La recompensa puede ser positiva o negativa. Una recompensa positiva refuerza la acción que la produjo; una penalización la desincentiva. El agente no optimiza una sola acción, sino la secuencia de acciones que produce mejor resultado total. La recompensa puede llegar después de varias acciones, por lo que el agente debe relacionar el resultado con decisiones anteriores.
Política, recompensa y valor
La política determina el comportamiento del agente al asignar acciones a estados. Puede ser una regla simple o un cálculo complejo. Por ejemplo, un vehículo autónomo puede asociar la detección de un peatón con la acción de frenar.
La función de recompensa orienta el comportamiento y puede integrarse en la política que gobierna las acciones. Determinar la política óptima es un objetivo central de los métodos de programación dinámica.
Además de la recompensa inmediata, se usan funciones de valor. Estas estiman cuánta recompensa futura se espera desde un estado o desde un par estado-acción. En problemas grandes, calcular expectativas sobre todo el espacio de estados resulta impracticable; por eso los métodos de aprendizaje por refuerzo las aproximan promediando muestras y usando aproximación de funciones.
Exploración y explotación
Para maximizar recompensas, el agente alterna entre probar acciones nuevas para conocer el entorno y usar su conocimiento actual para elegir la mejor acción conocida. La primera opción se llama exploración; la segunda, explotación. La búsqueda del equilibrio entre ambas se conoce como dilema de exploración-explotación.
La exploración aleatoria sin referencia a una distribución estimada tiene bajo rendimiento. Los casos con procesos de decisión de Markov finitos y pequeños están relativamente bien comprendidos. En problemas con muchos estados o espacios infinitos, los métodos de exploración simples suelen ser los más prácticos, porque faltan algoritmos que escalen bien con el número de estados.
Métodos fundamentales
Aunque existen muchos enfoques, tres métodos fundamentales son la programación dinámica, Monte Carlo y el aprendizaje por diferencia temporal. La programación dinámica se apoya en modelos del entorno y en la ecuación de Bellman para determinar políticas óptimas. Monte Carlo aprende a partir de episodios completos y promedia retornos observados. El aprendizaje por diferencia temporal combina ideas de ambos y actualiza estimaciones antes de terminar un episodio.
- Programación dinámica: usa un modelo del entorno y calcula políticas óptimas.
- Monte Carlo: aprende de episodios completos y promedia resultados.
- Diferencia temporal: actualiza valores paso a paso durante el episodio.
Cuando existe un modelo, la programación dinámica y Monte Carlo se acercan a problemas de planificación; el aprendizaje por refuerzo los trata como problemas de aprendizaje.
Modelos y planificación
El modelo es un subelemento opcional. Permite al agente predecir el comportamiento del entorno para acciones posibles y elegir cursos de acción según resultados potenciales. Por ejemplo, un vehículo autónomo puede usar un modelo para predecir rutas convenientes y anticipar el comportamiento de otros vehículos a partir de su posición y velocidad.
Algunos enfoques basados en modelos usan retroalimentación humana directa en el aprendizaje inicial y luego pasan a un aprendizaje autónomo. Cuando no hay modelo, el agente debe aprender directamente de la interacción.
Aprendizaje en línea y fuera de línea
Los métodos se dividen según cuándo y cómo el agente obtiene datos. En el aprendizaje en línea, el agente interactúa activamente con el entorno en tiempo real y recoge datos nuevos mientras aprende. En el aprendizaje fuera de línea, también llamado por lotes, el agente se entrena exclusivamente con un conjunto estático de interacciones recopiladas previamente, generadas por otros agentes, demostraciones humanas o registros históricos. En ese caso no interactúa con el entorno durante el aprendizaje.
| Modalidad | Fuente de datos | Interacción durante el aprendizaje |
|---|---|---|
| En línea | Datos nuevos en tiempo real | Sí |
| Fuera de línea | Conjunto estático previo | No |
La elección depende de la disponibilidad de datos, del coste de interactuar con el entorno y de la necesidad de seguridad. En entornos donde una acción errónea es costosa, entrenar con datos previos puede ser preferible.
Aplicaciones y límites
El aprendizaje por refuerzo se aplica a problemas donde las decisiones dependen de estados anteriores y donde la retroalimentación llega después de varias acciones. Un ejemplo general es el control de vehículos, aunque los detalles dependen de cada implementación. También se relaciona con el aprendizaje profundo cuando se usan redes neuronales artificiales para aproximar políticas o valores.
A pesar de los avances, sigue teniendo desafíos y limitaciones que dificultan su uso generalizado en escenarios reales. Entre ellos están la necesidad de exploración eficiente, el coste de obtener muestras y la dificultad de escalar a espacios de estados grandes o infinitos. El refuerzo positivo puede maximizar el rendimiento y ayudar a sostener el cambio, pero su uso excesivo puede generar estados excesivos que reduzcan la efectividad.
Otras preguntas frecuentes
¿El aprendizaje por refuerzo necesita datos etiquetados?
No. Aprende interactuando con el entorno y usando recompensas o penalizaciones, no a partir de ejemplos etiquetados.
¿Qué diferencia hay entre exploración y explotación?
La exploración prueba acciones nuevas para conocer el entorno; la explotación usa el conocimiento actual para elegir la mejor acción conocida. El reto está en equilibrar ambas.
¿Qué es una política en aprendizaje por refuerzo?
Es la regla que asigna acciones a estados y define el comportamiento del agente. Puede ser simple o compleja.
¿Cuándo conviene el aprendizaje fuera de línea?
Cuando ya existen datos de interacciones previas y resulta costoso o arriesgado interactuar con el entorno durante el entrenamiento.
Páginas relacionadas
- Alineación de la IA: qué es y cómo funciona
La alineación de la IA consiste en incorporar valores y metas humanas a los modelos para que resulten útiles, seguros y confiables. Su objetivo es que el sistema actúe como las personas esperan, también en casos nuevos. Sigue siendo un problema sin resolver en sistemas actuales y se trabaja con técnicas como el ajuste fino y la retroalimentación humana.
- Visión por computador: qué es y cómo funciona
Visión por computador es una rama de la inteligencia artificial centrada en que los sistemas extraigan sentido de imágenes y vídeos. A partir de datos visuales, los sistemas pueden clasificar, detectar objetos o segmentar regiones. Su rendimiento depende de la calidad de los datos y de una validación cuidadosa.
- Aprendizaje profundo: redes y aplicaciones
El aprendizaje profundo es una rama del aprendizaje automático que usa redes neuronales de varias capas para aprender patrones en datos complejos. Se aplica en visión por computador, lenguaje natural, vehículos autónomos y otros sistemas de IA. Su crecimiento reciente se apoyó en hardware más potente y en grandes conjuntos de datos.
- Procesamiento del lenguaje natural: qué es y cómo funciona
El procesamiento del lenguaje natural es un campo de las ciencias de la computación y la inteligencia artificial orientado a que los ordenadores interpreten, sistematicen y generen lenguaje humano. Para conseguirlo, integra lingüística computacional, modelos probabilísticos y redes neuronales profundas aplicadas a datos textuales o de audio. Su propósito consiste en salvar la distancia entre las instrucciones numéricas de las máquinas y la complejidad de la comunicación verbal ordinaria.
- Red neuronal artificial: arquitectura y funcionamiento
Una red neuronal artificial es un modelo de aprendizaje automático compuesto por unidades interconectadas llamadas nodos o neuronas, dispuestas en diferentes capas. Este sistema procesa datos de entrada calculando combinaciones matemáticas con pesos y sesgos para generar predicciones o clasificaciones precisas. Al contrastar sus resultados con los valores esperados, el algoritmo actualiza sus parámetros internos de forma iterativa para resolver problemas lineales y no lineales.
- Aprendizaje automático: conceptos, tipos y modelos
El aprendizaje automático es una disciplina de la inteligencia artificial enfocada en algoritmos estadísticos que identifican patrones a partir de datos para realizar predicciones sin programación explícita. Su mecanismo principal consiste en ajustar parámetros numéricos mediante procesos de entrenamiento y optimización matemática para generalizar resultados ante información desconocida. Se aplica en sectores como la salud, las finanzas, la visión por computadora y los sistemas de recomendación a gran escala.
Cómo se preparó esta página
Antes de redactarla, el tema se investigó en las fuentes de abajo. Después, la página superó controles de calidad automáticos.