Maximisation de Vraisemblance

Estimation par maximisation de vraisemblance

La vraisemblance est la probabilité qu'un événement arrive plus ou moins souvent.

Définition

Soit une variable aléatoire $X$ de fonction de masse (discrète) / densité (continue) $f$ tel que $\mathrm{\forall }x\in X(\mathrm{\Omega })$ , on a une valeur $f(x|\theta )$ où $\theta$ est un paramètre de la loi X.

Rappel

1. Pour une v.a. discrète, $f(x|\theta )=\mathbb{P}(X=x|\theta )$
2. Pour une v.a. continue, $\mathrm{\forall }a,b,\in X(\mathrm{\Omega }),\mathbb{P}(X\in [a,b]|\theta )={\int }_a^{b}f(x|\theta )dx$

En pratique, nous connaissons l'expression de $f(x|\theta )$, et on va étudier les variations de $f$ afin de déterminer son maximum, par rapport à $\theta$ et en fonction de $x$.

Définition

Pour une valeur observée $x\in X(\mathrm{\Omega })$ par notre loi $X$, la fonction de vraisemblance de de $\theta$ est $\mathcal{L}(\theta )=f(x|\theta )$ Pour l'ensemble des $x_i\in X(\mathrm{\Omega })$, notre fonction de resemblance est le produit des $f(x|\theta )$.

Remarque

La vraisemblance (aussi likelihood) $\mathcal{L}$ est une fonction du paramètre à estimer $\theta$ implicitement de l'observation.

Nous avons vu ce type de comportements avec l'exercice 5 du TD 2. La vraisemblance est une probabilité, donc $\mathcal{L}(\theta )\in [0,1]$. La vraisemblance pour $x_n$ observations est :

$$\mathcal{L}(\theta )=f(x_1,...,x_n|\theta )=f(\overrightarrow{x}|\theta )=\prod _{i=1}^{n}f(x_i|\theta )$$

Le but est de trouver, à partir d'une loi ($X$) qui va modéliser un phénomène, le(s) paramètres adapté(s) ($p,\lambda ,\mu ,{\sigma }^2$) pour nos observations. Pour trouver un maximum, utilise donc la dérivé ${\mathcal{L}}^{\prime }$ pour trouver la vraisemblance max. On note alors $\hat{\theta }$ l'estimateur maximal de Vraisemblance (EMV).

Exemples

Loi de Bernoulli

EMV pour p : Soit $\overrightarrow{X}(X_1,...,X_n)$ v.a. idd qui produisent les observations $\overrightarrow{x}=(x_1,...,x_n$. On cherche, en fonction de nos observations $\overrightarrow{x}$, l'EMV pour le paramètre p.

1. Fonction de vraisemblance $\mathcal{L}(\theta )$

$\mathcal{L}(\theta )=f(\overrightarrow{x}|\theta )=\prod _{i=1}^{n}f(x_i|\theta )$$f(x_i|\theta )=\mathbb{P}(X_i=x|\theta )=\{\begin{array}{l}p\text{ si }{x}_i=1\\ 1-p\text{ si }{x}_i=0\end{array}$ donc $f(x_i|\theta )=p^{x_i}(1-p{)}^{1-x_i}$ Donc $\mathcal{L}(\theta )=\mathcal{L}(p)=\prod _{i=1}^n{p}^{x_i}(1-p{)}^{1-x_i}$.

2. Simplification

$$\mathcal{L}(p)=\prod _{i=1}^n((\frac{p}{1-p}{)}^{x_i}\times (1-p))=(1-p{)}^n\prod _{i=1}^n({\frac{p}{1-p}}^{x_i})$$

3. Application du logarithme

On obtient donc, une log. vraisemblance, noté $\mathcal{l}(\theta )=ln(\mathcal{L}(\theta ))$ car $ln(a\times b)=ln(a)+ln(b)$

$ln$ est monotone sur ${\mathbb{R}}^{\ast }$ donc $\underset{\theta }{\mathrm{argmax}}\mathcal{l}(\theta )=\underset{\theta }{\mathrm{argmax}}\mathcal{L}(\theta )$

$$\mathcal{l}(p)=ln((1-p{)}^n\prod _{i=1}^n({\frac{p}{1-p}}^{x_i}))=nln(1-p)+ln(\prod _{i=1}^n({\frac{p}{1-p}}^{x_i}))\$\$\$\$=nln(1-p)+\sum _{i=1}^n{x}_i.ln(\frac{p}{1-p})$$

4. Dérivée et racines $\mathcal{L}(\theta {)}^{\prime }$

$$\mathcal{L}(\theta {)}^{\prime }=\frac{-n}{1-p}+\sum _{i=1}^n{x}_i(\frac{1}{p}+\frac{1}{1-p})=\frac{-n}{1-p}+\sum _{i=1}^n{x}_i\times \frac{1}{p(1-p)}$$

On peut multiplier par $(1-p)$ pour la recherche des 0:

$$-np\sum _{i=1}^n{x}_i=0\iff p=\frac{1}{n}\sum _{i=1}^n{x}_i$$

Statistique exhaustive

Définition

Soit $T(X_1,\dots ,X_n)=t$. Une statistique $T(X_1,\dots ,X_n)$ de $\theta$ est dite exhaustive si $$\mathbb{P}(X_1 = x_1\cap \ldots \cap X_n = x_n | t, \theta) = \mathbb{P}(X_1 = x_1\cap \ldots \cap X_n = x_n | t)$$

Cela veux dire que la probabilité d'observer toutes nos données sachant $T=t$ ne dépend plus du paramètre $\theta$ et donc que toute l'information sur $\theta$ est contenu dans la statistique $T$.

Théorème

Une statistique $T$ de $\theta$ est exhaustive si la fonction de densité/masse $f(x|\theta )$ peut s'exprimer en tant que $g(T(x),\theta )\times h(x)$

Lorsqu'on fait de la maximisation de vraisemblance, la fonction $h(x)$ va s'annuler lors de la log-vraisemblance par rapport à $\theta$.

Exemple : Dans le cadre d'une loi de poisson

$\mathcal{L}(\lambda )=e^{-n\lambda }{\lambda }^{\sum }\prod _{i=1}^n\frac{1}{x_i!}$.

Si on choisit $T(x_1,\dots ,X_n)=\sum x_i$ on peut écrire $e^{-n\lambda }{\lambda }^{\sum }=g(T(x_1,\dots ,x_n),\lambda )$ (ici $g$ serait $g(a,b)=e^{-nb}{b}^a$)