Un modello di Markov è un metodo stocastico per sistemi che cambiano casualmente in cui si presume che gli stati futuri non dipendano da stati passati. Questi modelli mostrano tutti gli stati possibili, nonché le transizioni, la velocità di transizione e le probabilità tra di loro.
I modelli di Markov sono spesso usati per modellare le probabilità di diversi stati e le velocità di transizione tra di loro. Il metodo viene generalmente utilizzato per modellare i sistemi. I modelli di Markov possono essere utilizzati anche per riconoscere modelli, fare previsioni e apprendere le statistiche di dati sequenziali.
Esistono quattro tipi di modelli di Markov che vengono utilizzati in base alla situazione:
- Catena di Markov: utilizzata da sistemi autonomi e con stati completamente osservabili
- Modello di Markov nascosto - utilizzato da sistemi autonomi in cui lo stato è parzialmente osservabile.
- Processi decisionali di Markov - utilizzati da sistemi controllati con uno stato completamente osservabile.
- Processi decisionali markoviani parzialmente osservabili - utilizzati da sistemi controllati in cui lo stato è parzialmente osservabile.
I modelli di Markov possono essere espressi in equazioni o in modelli grafici. I modelli grafici di Markov in genere utilizzano cerchi (ciascuno contenente stati) e frecce direzionali per indicare possibili cambiamenti di transizione tra di loro. Le frecce direzionali sono etichettate con il tasso o quello variabile per il tasso. Le applicazioni della modellazione di Markov includono linguaggi di modellazione, elaborazione del linguaggio naturale (PNL), elaborazione di immagini, bioinformatica, riconoscimento vocale e modellazione di sistemi hardware e software per computer.
I modelli di Markov prendono il nome dal loro creatore, Andrey Markov, un matematico russo tra la fine del 1800 e l'inizio del 1900.