Maximisation de Vraisemblance
Estimation par maximisation de vraisemblance
La vraisemblance est la probabilité qu'un événement arrive plus ou moins souvent.
Soit une variable aléatoire de fonction de masse (discrète) / densité (continue) tel que , on a une valeur où est un paramètre de la loi X.
- Pour une v.a. discrète,
- Pour une v.a. continue,
En pratique, nous connaissons l'expression de , et on va étudier les variations de afin de déterminer son maximum, par rapport à et en fonction de .
Pour une valeur observée par notre loi , la fonction de vraisemblance de de est Pour l'ensemble des , notre fonction de resemblance est le produit des .
La vraisemblance (aussi likelihood) est une fonction du paramètre à estimer implicitement de l'observation.
Nous avons vu ce type de comportements avec l'exercice 5 du TD 2. La vraisemblance est une probabilité, donc . La vraisemblance pour observations est :
Le but est de trouver, à partir d'une loi ( ) qui va modéliser un phénomène, le(s) paramètres adapté(s) ( ) pour nos observations. Pour trouver un maximum, utilise donc la dérivé pour trouver la vraisemblance max. On note alors l'estimateur maximal de Vraisemblance (EMV).
Exemples
Loi de Bernoulli
EMV pour p : Soit v.a. idd qui produisent les observations . On cherche, en fonction de nos observations , l'EMV pour le paramètre p.
1. Fonction de vraisemblance
donc Donc .
2. Simplification
3. Application du logarithme
On obtient donc, une log. vraisemblance, noté car
est monotone sur donc
4. Dérivée et racines
On peut multiplier par pour la recherche des 0:
Statistique exhaustive
Soit . Une statistique de est dite exhaustive si $$\mathbb{P}(X_1 = x_1\cap \ldots \cap X_n = x_n | t, \theta) = \mathbb{P}(X_1 = x_1\cap \ldots \cap X_n = x_n | t)$$
Cela veux dire que la probabilité d'observer toutes nos données sachant ne dépend plus du paramètre et donc que toute l'information sur est contenu dans la statistique .
Une statistique de est exhaustive si la fonction de densité/masse peut s'exprimer en tant que
Lorsqu'on fait de la maximisation de vraisemblance, la fonction va s'annuler lors de la log-vraisemblance par rapport à .
.
Si on choisit on peut écrire (ici serait )