Wesloo
Todos os temasTemas

Inteligência artificial

Aprendizado por reforço: o que é e como funciona

Resposta curta

Aprendizado por reforço é uma área do aprendizado de máquina em que um agente aprende a decidir por tentativa e erro, interagindo com um ambiente e recebendo recompensas ou penalidades. O objetivo é maximizar a recompensa acumulada ao longo do tempo, não apenas o resultado imediato. Esse paradigma se aplica a problemas de decisão sequencial em ambientes incertos.

Pontos principais

  • Um agente aprende por interação com o ambiente, sem instrução direta passo a passo.
  • A experiência é organizada como sequências de estado, ação e recompensa.
  • A exploração de novas ações e a explotação do conhecimento atual precisam ser balanceadas.
  • Métodos clássicos incluem programação dinâmica, Monte Carlo e diferença temporal.
  • O treino pode ocorrer online, em tempo real, ou offline, com dados já coletados.

Aprendizado por reforço é uma forma de aprendizado de máquina em que um agente autônomo aprende a decidir ao interagir com o ambiente. Em vez de receber instruções diretas para cada situação, o agente age, observa o resultado e ajusta seu comportamento para aumentar a recompensa acumulada ao longo do tempo.

O que é aprendizado por reforço?

Esse paradigma trata de problemas de decisão sequencial em ambientes incertos. O agente não recebe um conjunto fixo de respostas corretas; aprende por tentativa e erro, usando o feedback do ambiente para melhorar suas escolhas. Muitas aplicações tentam reproduzir formas de aprendizado biológico com reforço positivo: um evento que segue um comportamento pode aumentar a força e a frequência desse comportamento. O reforço positivo pode melhorar o desempenho e manter mudanças ao longo do tempo, mas o uso excessivo pode criar estados demais e reduzir a eficácia.

Costuma-se organizar a experiência em sequências interdependentes de estado, ação e recompensa. O estado descreve a situação atual do agente, a ação é o movimento ou decisão possível, e a recompensa é o feedback recebido após a ação. O objetivo não é maximizar uma recompensa isolada, mas o retorno acumulado ao longo de uma trajetória.

Os elementos básicos

  • Agente: o tomador de decisão que executa ações.
  • Ambiente: o sistema ou mundo em que o agente opera.
  • Estado: a situação ou condição atual do agente.
  • Ação: os movimentos ou decisões possíveis.
  • Recompensa: o feedback do ambiente com base na ação.

Como o agente aprende por tentativa e erro

Em aprendizado por reforço, o agente interage com o ambiente em ciclos: escolhe uma ação, o ambiente responde com um novo estado e uma recompensa, e o agente usa essa informação para atualizar sua estratégia. Esse ciclo permite que o sistema aprenda a agir, e não apenas a reconhecer padrões em dados estáticos.

O agente precisa decidir entre explorar novas ações para conhecer melhor o ambiente e explotar o conhecimento atual para obter a melhor recompensa conhecida. Esse dilema entre exploração e explotação é central no campo. A exploração não pode ser totalmente aleatória; mecanismos mais inteligentes usam estimativas de probabilidade para escolher ações informativas. Em problemas com espaços de estados finitos e pequenos, o caso é relativamente bem compreendido. Em problemas maiores, métodos simples de exploração costumam ser os mais práticos, porque ainda faltam algoritmos que escalem bem com o número de estados.

Como calcular valores exatos para todos os estados pode ser impraticável, as expectativas são aproximadas pela média de amostras. Em espaços grandes de estados e ações, técnicas de aproximação de função ajudam a representar funções de valor sem enumerar todos os casos. Em sistemas que combinam aprendizado por reforço com aprendizado profundo, redes neurais podem aproximar essas funções em problemas de alta dimensão.

Modelo, política e equação de Bellman

A relação entre agente, ambiente e objetivo costuma ser descrita como um processo de decisão de Markov. Nessa formulação, o agente observa um estado, escolhe uma ação, recebe uma recompensa e passa para um novo estado, e a dinâmica do ambiente define as transições.

O modelo é um subelemento opcional. Quando presente, ele permite prever o comportamento do ambiente para ações possíveis, ajudando o agente a avaliar cursos de ação com base em resultados potenciais. Em veículos autônomos, por exemplo, um modelo pode ajudar a prever rotas e o que esperar de veículos ao redor a partir de posição e velocidade. Algumas abordagens baseadas em modelo usam feedback humano direto no aprendizado inicial e depois passam para aprendizado autônomo.

A política define o comportamento do agente, associando estados a ações. Pode ser uma regra simples ou um cálculo complexo. A função de recompensa pode integrar a política que orienta as ações do agente. Encontrar a política ótima é central nos métodos de programação dinâmica. A equação de Bellman aparece aí para relacionar o valor de um estado ao dos estados seguintes.

Métodos clássicos de aprendizado por reforço

Os três métodos mais citados como base são programação dinâmica, Monte Carlo e aprendizado por diferença temporal. A programação dinâmica determina políticas ótimas quando há um modelo do ambiente. O método de Monte Carlo estima valores a partir de episódios completos de interação. O aprendizado por diferença temporal atualiza estimativas a partir de passos parciais, combinando ideias de programação dinâmica e Monte Carlo.

Esses métodos diferem na quantidade de informação necessária e no momento em que atualizam suas estimativas. A escolha depende da disponibilidade de um modelo, do custo de coletar episódios completos e da necessidade de aprender durante a interação. Em todos os casos, o objetivo permanece o mesmo: encontrar uma política que maximize a recompensa acumulada.

MétodoUso típico
Programação dinâmicaPolítica ótima com modelo disponível
Monte CarloEstimativa a partir de episódios completos
Diferença temporalAtualização a partir de passos parciais

Treino online e offline

Os métodos podem ser divididos conforme a forma de obter dados. No treino online, o agente aprende ao interagir em tempo real com o ambiente e coletar dados novos enquanto age. No treino offline, ou aprendizado em lote, ele aprende apenas com interações já coletadas, vindas de outros agentes, demonstrações humanas ou registros históricos, sem interagir com o ambiente durante o treino.

A escolha entre os dois modos envolve segurança, custo e disponibilidade de dados. O treino online permite adaptação contínua, mas pode ser arriscado em ambientes reais. O treino offline aproveita dados existentes, mas depende da qualidade e da cobertura do conjunto coletado.

ModoCaracterística principal
OnlineInteração em tempo real com o ambiente
OfflineAprendizado a partir de dados já coletados

Desafios e limitações

Mesmo com os avanços, o aprendizado por reforço ainda enfrenta desafios que limitam seu uso amplo em cenários reais. A exploração eficiente é um deles: escolher ações ao acaso, sem usar uma distribuição de probabilidade estimada, tem desempenho fraco. A falta de algoritmos que escalem bem com o número de estados torna métodos simples de exploração os mais práticos em muitos casos.

Há abordagens que usam reforço interno, no qual o agente se baseia em autoavaliação de estados em vez de recompensa externa imediata. Nesse caso, a equação de aprendizado não inclui a recompensa imediata, apenas a avaliação do estado. Esse mecanismo é associado a processos de sentimentos e emoções em modelos inspirados em aprendizado biológico.

O campo também inclui aprendizado por reforço profundo e aplicações em modelos de linguagem grande, em que o reforço pode ajustar o comportamento do sistema a partir de feedback. Empresas usam aprendizado por reforço para otimizar decisões sequenciais, e plataformas de nuvem oferecem ferramentas para treinar e implantar esses sistemas.

Aplicações e exemplos

Em veículos autônomos, um modelo pode prever rotas e o comportamento esperado de veículos ao redor com base em posição e velocidade. Em sistemas de linguagem, o reforço pode ajustar respostas a partir de feedback. Esses exemplos mostram que o método é útil quando a decisão correta depende de uma sequência de ações e do feedback posterior.

Quando o problema exige percepção de imagens ou sinais, o aprendizado por reforço pode ser combinado com rede neural artificial para processar entradas complexas. A combinação com aprendizado profundo permite lidar com estados de alta dimensão, como pixels ou texto, embora aumente o custo computacional e a necessidade de dados.

Outras perguntas comuns

Qual a diferença entre aprendizado por reforço e aprendizado supervisionado?

O aprendizado supervisionado aprende a partir de dados rotulados, enquanto o aprendizado por reforço aprende por interação com um ambiente e por recompensas ou penalidades recebidas após as ações.

O que é a política em aprendizado por reforço?

A política é a regra ou função que mapeia estados para ações, definindo o comportamento do agente. Ela pode ser simples ou envolver cálculos complexos.

O que significa exploração e explotação?

Exploração é testar novas ações para conhecer o ambiente; explotação é usar o conhecimento atual para obter a melhor recompensa conhecida. O desafio é balancear as duas estratégias.

Quais são as limitações do aprendizado por reforço?

Entre as limitações estão a dificuldade de escalar para muitos estados, a necessidade de exploração eficiente e os desafios de aplicação em cenários reais.

Páginas relacionadas

  • Alinhamento de IA: o que é e como funciona

    Alinhamento de IA busca fazer com que modelos reflitam valores e objetivos humanos, resultando em sistemas úteis, seguros e confiáveis. O trabalho envolve definir bem o que o sistema deve fazer e fazer com que ele siga essa definição em casos novos. Técnicas como aprendizado por reforço a partir de feedback humano, red teaming e ajuste fino contrastivo são usadas, mas sistemas mais complexos tornam o problema mais difícil.

  • Visão computacional: como máquinas interpretam imagens

    Visão computacional é um campo da inteligência artificial dedicado a fazer com que sistemas extraiam informação útil de imagens e vídeos. Ela combina processamento de imagem, aprendizado de máquina e, em muitos casos, aprendizado profundo para reconhecer padrões e apoiar decisões.

  • Modelo de linguagem grande: o que é e como funciona

    Um modelo de linguagem grande é um sistema de inteligência artificial treinado em grandes volumes de texto para entender e gerar linguagem humana. Ele usa redes neurais profundas com bilhões de parâmetros para prever e produzir texto, código e outros conteúdos. O termo "grande" não tem limiar fixo de parâmetros.

  • Aprendizado profundo: redes neurais em camadas

    Aprendizado profundo é um ramo do aprendizado de máquina baseado em redes neurais com várias camadas. Ele aprende representações em níveis de abstração a partir de dados e sustenta aplicações como visão computacional, processamento de linguagem e sistemas autônomos.

  • Inteligência artificial generativa: conceitos e modelos

    A inteligência artificial generativa reúne sistemas computacionais capazes de produzir novos conteúdos digitais, como textos, códigos de programação, áudios e imagens. O funcionamento desses sistemas baseia-se em redes de aprendizado profundo que identificam padrões estatísticos em conjuntos massivos de dados prévios. A partir dessas correlações, o algoritmo sintetiza respostas e arquivos inéditos ao receber comandos específicos.

  • Processamento de linguagem natural: conceitos e usos

    O processamento de linguagem natural é uma disciplina da inteligência artificial que capacita computadores a interpretar, estruturar e produzir linguagem humana. A área integra linguística computacional, modelos estatísticos e redes neurais para extrair sentido de dados textuais e registros de voz. Suas aplicações práticas incluem tradução automática, assistentes virtuais e automação no atendimento ao cliente.

Como esta página foi preparada

Antes da redação, o tema foi pesquisado nas fontes abaixo. Depois, a página passou por verificações automáticas de qualidade.

Informar um erro nesta página