# Dominando MDPs: Por que sua IA precisa da Propriedade de Markov para ter sucesso

## Summary
Este guia explora a transição de problemas simples de multi-armed bandit para a estrutura robusta dos Processos de Decisão de Markov (MDPs). Ele define a propriedade de Markov — a suposição de que o futuro depende apenas do estado presente — e explica por que a representação de estado é a escolha de design mais crítica em RL. O artigo também aborda as limitações desta propriedade, introduzindo o conceito de Processos de Decisão de Markov Parcialmente Observáveis (POMDPs) para cenários onde o estado completo está oculto.

## Content
{t+1}$, condicionado a todo o histórico, reduz-se a uma distribuição condicionada apenas ao estado atual, $S_t$, e à ação tomada, $A_t$. Formalmente: P(S_{t+1} | S_t, A_t) = P(S_{t+1}

---
Source: Kodawire (PT)