7.6.12 Algunos estimadores fundamentales

Vamos a estudiar las propiedades de ciertos estimadores que por su importancia en las aplicaciones resultan fundamentales: estimadores de la esperanza matemática y varianza de una distribución de probabilidad.

7.6.12.1 Estimador de la esperanza matemática

Consideremos las muestras de tamaño n, $X_1,X_2,\dots,X_n$, de un carácter sobre una población que viene expresado a través de una v.a. Xque posee momentos de primer y segundo orden, es decir, existen ${ {{\bf E} \left[ X \right]} }$ y ${ {{\bf Var } \left[ X \right]} }$:

$$X_1,X_2,\dots,X_n, \qquad \left\{ \begin{array}{l} { {{\bf E}... ...{{\bf Var } \left[ X_i \right]} }= \sigma^2 \end{array}\right.$$

El estimador media muestral que denotaremos normalmente como $\overline {X}$ (en lugar de $\hat{\mu}$ es

$$\overline{X} = \frac{1}{n} (X_1+X_2+\cdots+X_n)$$

verifica:

$${ \mbox{\fbox{$\displaystyle { {{\bf E} \left[ \overline{X} \right]} }=\mu $ } } }$$

$${ \mbox{\fbox{$\displaystyle { {{\bf Var } \left[ \overline{X} \right]} }=\frac{\sigma^2}{n} $ } } }$$

Por tanto es un estimador insesgado. Si además sabemos que X se distribuye según una ley gaussiana, es sencillo comprobar que coincide con el estimador de máxima verosimilitud (figura 7.3):

7.6.12.2 Proposición

$$X_i{\leadsto}{ {{\bf N} \left( \mu,\sigma \right)} } \Longrig... ...\leadsto} { {{\bf N} \left( \mu,\frac{\sigma^2}{n} \right)} }$$

Demostración

La función de densidad de una observación cualquiera de la muestra es:

$$X_i{\leadsto}{ {{\bf N} \left( \mu,\sigma^2 \right)} } \Longrightarrow ,\qquad \forall \, x\in I\!\!R$$

Por tanto la distribución conjunta de la muestra es

$$f_(x_1,x_2,\dots,x_n;\,\mu,\sigma^2)= f(x_1;\,\mu,\sigma^2)\cdot f(x_2;\,\mu,\sigma^2)\cdots f(x_n;\,\mu,\sigma^2)$$

Para unos valores $x_1,x_2,\dots,x_n$ fijados, la función de verosimilitud es

$$\begin{eqnarray*}V(\tilde{\mu},\sigma^2) &=& f(x_1;\,\mu,\sigma^2)\cdot f(x_2;\... ...{2}\,\sum_{i=1}^n \left(\frac{x_i-\tilde{\mu}}{\sigma}\right)^2} \end{eqnarray*}$$

(en principio escribimos también el otro parámetro desconocido, $\sigma ^2$, aunque no nos interesamos en su estimación por el momento). La expresión de la función de verosimilitud es algo engorrosa. Por ello es preferible trabajar con su logaritmo:

 $$\log V(\tilde{\mu},\sigma^2) = \underbrace{- \frac{n}{2} \log... ...2}\,\sum_{i=1}^n \left(\frac{x_i-\tilde{\mu}}{\sigma}\right)^2$$

El máximo de la función de verosimilitud se alcanza donde lo hace su logaritmo (monotonía), por tanto derivando con respecto a $\tilde{\mu}$ e igualando a cero se llega a:

$$0 = \frac{\partial \log V}{\partial\, \tilde{\mu}} \left(\hat... ...\neq 0} \left(\sum_{i=1}^n x_i-n\,\hat{\mu}_{\cal M V} \right)$$

Es decir, el estimador máximo verosímil de la media poblacional,$\mu$, coincide con la media muestral

$$\hat{\mu}_{\cal M V}= \frac{1}{n} \sum_{i=1}^n x_i$$

como queríamos demostrar (cf. figura 7.2).

  

Figura: El estimador de máxima verosimilitud de $\mu$ para una variable gaussiana es la media muestral.

  

Figura: La distribución del estimador muestral $\overline {X}$ del parámetro poblacional $\mu$, tiene por valor esperado al mismo $\mu$ (insesgado), y su dispersión disminuye a medida que aumenta el número de observaciones

7.6.12.3 Estimador de la varianza

A la hora de elegir un estimador de $\sigma^2={ {{\bf Var } \left[ X \right]} }$, podemos comenzar con el estimador más natural:

 $${{\cal S}^{2}}= \frac{1}{n}\sum_{i=1}^n (X_i-\overline{X})^2$$

Podemos comprobar que cuando el carácter que se estudia sobre la población es gaussiano, en realidad este es el estimador máximo verosímil para la varianza. Sin embargo se comprueba también su falta de sesgo, lo que hace mas adecuado que se utilice como estimador de la varianza al siguiente concepto: cuasi varianza muestral

  
7.6.12.4 Proposición

$$X_i{\leadsto}{ {{\bf N} \left( \mu,\sigma \right)} } \Longrightarrow {{\cal S}^{2}}\equiv \hat{\sigma^2}_{\cal M V}$$

Demostración

Recuperamos el logaritmo de la función de verosimilitud escrita en la relación (7.4), donde en esta ocasión el primer parámetro ya fue obtenido por el método de máxima verosimilitud (y vimos que era la media muestral) y tratamos de maximizarla con respecto al segundo parámetro:

$$\log V(\overline{x},\tilde{\sigma^2}) = - \frac{n}{2} \left(... ...lde{\sigma^2}} \, \sum_{i=1}^n \left(x_i-\overline{x}\right)^2$$

Derivando con respecto a $\tilde{\sigma^2}$ e igualando a 0se obtiene el estimador máximo verosímil:

$$0 = \frac{\partial \log V}{\partial\, \tilde{\sigma^2}} \left... ...al M V}}\right)^2 \sum_{i=1}^n \left(x_i-\overline{x}\right)^2$$

Despejando de esta ecuación se obtiene que el estimador máximo verosímil coincide con la varianza muestral,

$$\hat{\sigma^2}_{\cal M V} = \frac{1}{n}\sum_{i=1}^n (x_i-\overline{x})^2$$

  
7.6.12.5 Proposición

El valor esperado del estimador

$${{\cal S}^{2}}= \frac{1}{n}\sum_{i=1}^n (X_i-\overline{X})^2$$

no es $\sigma ^2$, y por tanto el estimador máximo verosímil para la varianza no es insesgado. Más aún, $${ {{\bf E} \left[ {{\cal S}^{2}} \right]} } = \frac{n-1}{n}\sigma^2.$$

Demostración

Comenzamos escribiendo

$${ {{\bf E} \left[ {{\cal S}^{2}} \right]} } ={ {{\bf E} \left... ...[ X_i^2 \right]} }-{ {{\bf E} \left[ \overline{X}^2 \right]} }$$

Por otro lado

$$\left\{ \begin{array}{l} \overbrace{{ {{\bf Var } \left[ X_i ... ...} }= \displaystyle \frac{\sigma^2}{n}+\mu^2 \end{array}\right.$$

Luego

$${ {{\bf E} \left[ {{\cal S}^{2}} \right]} } = \frac{1}{n}\sum... ...sigma^2}{n}-{\mu^2}{\!\!\!\setminus}= \frac{n-1}{n}\,\sigma^2.$$

  
7.6.12.6 Cuasivarianza muestral

Para tener un estimador insesgado de la varianza introducimos la cuasivarianza muestral $\hat{\cal S}^2$ que se define como

 $$\hat{\cal S}^2 = \frac{n}{n-1}{{\cal S}^{2}}= \frac{1}{n-1}\sum_{i=1}^n (X_i-\overline{X})^2.$$

Es inmediato comprobar que realmente este estimador es insesgado

$${ {{\bf E} \left[ \hat{\cal S}^2 \right]} }= { {{\bf E} \left... ...\right]} } = \frac{n}{n-1}\,\frac{n-1}{n}\,\sigma^2 =\sigma^2.$$

Esa esperanza puede ser calculada de un modo más directo, ya que la distribución del estimador ${{\cal S}^{2}}$ es conocida usando el teorema de Cochran (página ):

 $$\frac{n{{\cal S}^{2}}}{\sigma^2} = \sum_{i=1}^n \left(\frac{... ...\sigma}\right)^2 {\leadsto}{ \mbox{\boldmath$\chi$ } }_{n-1}^2$$

luego

$$\begin{eqnarray*}{ {{\bf E} \left[ \frac{n{{\cal S}^{2}}}{\sigma^2} \right]} }= ... ...left[ {{\cal S}^{2}} \right]} } = \frac{2(n-1)}{n^2} \, \sigma^4 \end{eqnarray*}$$

Es consecuencia de las relaciones (7.8) y (7.9) que la distribución de la cuasivarianza muestral es tal que

$$\frac{(n-1)\hat{\cal S}^2}{\sigma^2} {\leadsto}{ \mbox{\boldmath$\chi$ } }_{n-1}$$

(cf. figura 7.4).

  

Figura: Función de densidad del estadístico que relaciona $\hat{\cal S}^2$, $\sigma ^2$ y los grados de libertad de la muestra (n-1). La falta de simetría del mismo hace que su valor esperado (n-1) se desplace a la derecha de la moda (asimetría positiva).