Les premiers résultats de la théorie des probabilités (loi des grands nombres, théorème central limite) concernent les suites de variables aléatoires (X(n)) indépendantes et de même loi. Les chaînes de Markov étendent ce cadre : on ne demande plus que X(n+1) soit indépendant de X(0),...,X(n), mais plutôt qu'il ne dépende que de X(n), et ce de façon homogène par rapport au temps n. 

 

Le cours présente les fondements de la théorie de ces processus, qui a de nombreuses applications : simulations de lois par la méthode de Monte-Carlo, résolution du problème de Dirichlet, description de l'évolution de certains systèmes physiques ou biologiques, etc.

 

En particulier :

1. On décrira complètement l'aspect des trajectoires du processus (X(n)) sur un espace des états : classification des états, récurrence et transience.

2. Lorsque les trajectoires sont récurrentes (c'est-à-dire qu'elles reviennent systématiquement au point de départ), on les étudiera quantitativement grâce aux fréquences de visite, et aux probabilités marginales au temps n. Ces deux quantités convergent sous certaines hypothèse vers la loi stationnaire de la chaîne.

 

Prérequis : 

Avoir suivi un premier cours de probabilités : maîtriser la notion de variable aléatoire, les probabilités conditionnelles, la loi des grands nombres. 

 

Documents : 

Un polycopié contenant le cours, les exercices et des compléments destinés aux étudiants d'Orsay est disponible sur la page web de Pierre-Loïc Méliot.