Meest aannemelijke schatter

De methode van de grootste aannemelijkheid of maximum-likelihood-method is in de statistiek een schattingsmethode die als schatting van een parameter die waarde kiest, waarvoor de aannemelijkheidsfunctie een maximum heeft. De schatter heet meest aannemelijke schatter of maximum-likelihood-schatter.

De schatting wordt daarom de meest aannemelijke schatting genoemd. Het is de parameterwaarde die gezien de uitkomst van de steekproef het meest aannemelijk is. Hoe aannemelijk een parameterwaarde is, wordt afgemeten aan de kans of kansdichtheid om bij die waarde van de parameter de uitkomst van de steekproef te vinden.

Geschiedenis

Ronald Fisher in 1913

De methode van de grootste aannemelijkheid is tussen 1912 en 1922 door Ronald Fisher naar voren geschoven en geanalyseerd. Het was nog een heuristische methode, omdat de wiskunde die er aan ten grondslag lag nog niet voldoende was bewezen. De methode was al eerder door Gauss, Laplace, Thiele en Edgeworth gebruikt.

Samuel S. Wilks heeft in 1938 wel de nodige wiskundige grondslag voor de methode gegeven. De stelling die hij gebruikt laat zien dat de fout in de logaritme van de aannemelijkheidswaarden voor schattingen uit meer onafhankelijke steekproeven chi-kwadraat verdeeld is, waardoor het mogelijk is een betrouwbaarheidsgebied te bepalen rond de schattingen. Ironisch genoeg hangt het enige moeilijke deel van het bewijs af van de verwachtingswaarde van de Fisher informatiematrix, die wordt gegeven door een stelling van Fisher. Wilks bleef gedurende zijn leven voortdurend de stelling verbeteren en heeft zijn meest algemene bewijs in 1962 gepubliceerd.

Voorbeelden

Een vreemde munt ziet er in het geheel niet mooi symmetrisch uit. Wat zal bij werpen de kans $p$ op kop zijn? We gooien 10 keer met de munt en vinden 3 keer kop. De kans op deze uitkomst is nog een functie $L(p)$ van $p$, en wel volgens de binomiale verdeling:

$L(p)=P(X=3)=(\genfrac{}{}{0ex}{}{10}{3})p^3(1-p{)}^7$

De functie $L(p)$ is de aannemelijkheidsfunctie. Hoe groter de kans op de gebeurtenis die plaatsvond, hier de uitkomst $X=3$, is als functie van $p$, hoe 'aannemelijker' het ons lijkt dat die kans $p$ de werkelijke kans op kop was. We zoeken nu de waarde van $p$ die het 'meest aannemelijk' is, dus waar de aannemelijkheidsfunctie maximaal is. We zien gemakkelijk dat $L(0)=L(1)=0$ en dat verder $L(p)>0$. Het maximum van $L$ wordt met enige wiskunde gevonden bij $p=0,3$. Dus de meest aannemelijke schatting van $p$ is 0,3.

De uitkomst $x_1,\dots ,x_n$ van een aselecte steekproef is afkomstig uit een normale verdeling met parameters $\mu$ en ${\sigma }^2$. De aannemelijkheidsfunctie is dus:

$L(\mu ,{\sigma }^2)=\prod _{i=1}^n\phi (\mu +\sigma x_i)={\left(\frac{1}{2\pi {\sigma }^2}\right)}^{n/2}\exp (-\frac{\sum _{i=1}^n(x_i-\mu {)}^2}{2{\sigma }^2})$

Voor het bepalen van het maximum kan men ook de logaritme nemen:

$\log L(\mu ,{\sigma }^2)=-\frac{n}{2}\cdot \log \left(2\pi {\sigma }^2\right)-\frac{\sum _{i=1}^n(x_i-\mu {)}^2}{2{\sigma }^2}$

De partiële afgeleiden naar $\mu$ en ${\sigma }^2$ zijn:

$\frac{\partial }{\partial \mu }\log L(\mu ,{\sigma }^2)=0-\frac{-2\sum _{i=1}^n(x_i-\mu )}{2{\sigma }^2}=\frac{\sum _{i=1}^n(x_i-\mu )}{{\sigma }^2}=\frac{\sum _{i=1}^n{x}_i-n\cdot \mu }{{\sigma }^2}$

en

$\frac{\partial }{\partial {\sigma }^2}\log L(\mu ,{\sigma }^2)=-\frac{n}{2{\sigma }^2}+\frac{\sum _{i=1}^n(x_i-\mu {)}^2}{2s^4}$

Stelt men deze uitdrukkingen gelijk aan 0, dan krijgt men als oplossing:

$\hat{\mu }=\overline{x}=\frac{1}{n}\sum _{i=1}^n{x}_i$

en

${\hat{\sigma }}^2=\frac{1}{n}\sum _{i=1}^n(x_i-\hat{\mu }{)}^2$

Omdat $L$ inderdaad voor deze waarden maximaal is, zijn $\hat{\mu }$ en ${\hat{\sigma }}^2$ dus de meest aannemelijke schatters van $\mu$ en ${\sigma }^2$.