ISTI - 08 - Teoria degli Stimatori II

Supponiamo di avere un campione $X_1, X_2, ..., X_n$ con densità $f(x | \theta)$. Se riusciamo a scomporre la densità congiunta nel seguente modo

$$f(\underline{x} | \theta) = a(\theta) \cdot b(\theta, t(\underline{x})) \cdot c(\underline{x})$$

allora $t(\underline{x})$ è una statistica sufficiente.

Esempio: Nel caso di un campione $X_1, ..., X_n$ i.i.d. preso dalla normale, $X_i \sim \mathcal{N}(\mu, \sigma^2)$, abbiamo che la densità congiunta può essere scritta nel seguente modo

$$\begin{split} f(\underline{x} | \theta) &= \frac{1}{\sigma^n (2\pi)^{n/2}} \cdot e^{\displaystyle{-\frac{1}{2\sigma^2}\sum_i(x_i - \mu)^2}} \\ &= \frac{1}{\sigma^2 (2\pi)^{n/2}} \cdot e^{\displaystyle{-\frac{1}{2\sigma^2}\sum_i(x_i^2 - 2x_i\mu + \mu^2)}} \\ &= \frac{1}{\sigma^2 (2\pi)^{n/2}} e^{-\frac{\mu^2}{2\sigma^2}} \cdot e^{\displaystyle{-\frac{1}{2}(\frac{\sum x_i^2}{\sigma^2} - \frac{2\mu \sum x_i}{\sigma^2})}} \end{split}$$

e quindi la statistica sufficiente è data da

$$t = \Big( \sum_i X_i, \sum_i X_i^2 \Big)$$

Consideriamo un campione $X_1, X_2, ..., X_n$ i.i.d. generato da una Poisson($\theta$). Come stimatore unbiased possiamo utilizzare la prima osservazione $S := X_1$. Come statistica sufficiente invece trovo $t := X_1 + X_2 + ... + X_n$. Per poter applicare il Teorema di Rao-Blackwell dobbiamo calcolare il valore $\mathbb{E}[X_1 \,\,|\,\, X_1 + ... + X_n]$. Abbiamo già visto in un esempio precedente che

$$L(X_1, ..., X_n \,\,|\,\, X_1 + ... + X_n = S) \sim Multi(S, \{1/n, ..., 1/n\}$$

notando poi che la densità marginale di $X_1$ in una multinomiale è una binomiale di parametri $Bin(S, 1/n)$, troviamo il seguente stimatore

$$S^* = \mathbb{E}[X_1 \,\,|\,\, X_1 + ... + X_n] = \frac{S}{n} = \frac{X_1 + ... + X_n}{n} = \bar{X}$$

con media $\theta$ e varianza $\displaystyle{\frac{\theta}{n} \leq \theta}$.

La condizione richiesta per applicare il limite di Cramér-Rao è che sia possibile scambiare l'ordine delle operazioni tra derivata e integrale. In particolare quindi deve valere la seguente uguaglianza

$$\frac{d}{d \theta} \bigg( \int f(x|\theta) \,\, dx \bigg) = \int \bigg( \frac{d}{d \theta} \,\, f(x|\theta) \bigg) \,\, dx$$

Notiamo che se vale tale uguaglianza abbiamo che

• $\mathbb{E}_{\theta}\Big[ \frac{d}{d \theta}\,\, \ln{f(x \,\,|\,\, \theta)} \Big] = 0$, in quanto

  $$\forall \theta: \,\, \int f(x \,\,|\,\, \theta) \,\, dx = 1 \implies \frac{d}{d \theta} \Big(\int f(x \,\,|\,\, \theta) \,\, dx \Big) = 0$$

  e quindi,

  $$\begin{split} 0 &= \frac{d}{d \theta} \Big(\int f(x \,\,|\,\, \theta) \,\, dx \Big) \\ &= \int \frac{d}{d \theta} \Big[ f(x \,\,|\,\, \theta) \Big] \,\, dx \\ &= \int \frac{\frac{d}{d \theta} \Big[ f(x \,\,|\,\, \theta) \Big]}{f(x \,\,|\,\, \theta)} \cdot f(x \,\,|\,\, \theta) \,\, dx \\ &= \int \frac{d}{d \theta} \Big[\ln{ f(x \,\,|\,\, \theta)} \Big] \cdot f(x \,\,|\,\, \theta) \,\, dx \\ &= \mathbb{E}_{\theta}\Big[ \frac{d}{d \theta}\,\, \ln{f(x \,\,|\,\, \theta)} \Big] \\ \end{split}$$

• $\mathbb{E}_{\theta} \Big[ t \cdot \frac{d}{d \theta} \ln{f} \Big] = 1$. Infatti,

  $$\begin{split} \int t \cdot f(x \,\,|\,\, \theta) \,\, dx = \theta &\iff \int t f_{\theta}^{'} \,\, dx = 1 \\ &\iff \int t \cdot \frac{f_{\theta}^{'}}{f} \cdot f \,\, dx = 1 \\ &\iff \int t \cdot \frac{d}{d \theta} [ \ln f] \cdot f \,\, dx = 1 \\ &\iff \mathbb{E}_{\theta} \Big[ t \cdot \frac{d}{d \theta} \ln f \Big] = 1\\ \end{split}$$

A questo punto ci basta ricordare le seguenti formule

• $Cov(X, Y) = \mathbb{E}[X \cdot Y] - \mathbb{E}[X] \cdot \mathbb{E}[Y]$

• $Cov(X, Y)^2 \leq Var(X) \cdot Var(Y)$

per ottenere

$$\begin{split} &\quad \quad \quad \quad 1 = Cov\Big(t, \,\, \frac{d}{d \theta} \ln f(x \,\, | \,\, \theta)\Big)^2 \leq Var(t) \cdot Var\Big( \frac{d}{d \theta} \ln f\Big) \\ &\iff \\ &\quad \quad \quad \quad Var(t) \geq \frac{1}{Var\Big( \frac{d}{d \theta} \ln f\Big)} \\ \end{split}$$

infine, dalle ipotesi di indipendenza, segue che

$$Var\Big( \frac{d}{d \theta} \,\, \ln f\Big) = \sum\limits_{i = 1}^n Var \Big(\frac{d}{d \theta} \,\, \ln f \Big) = n \cdot I(\theta)$$

Mettendo tutto assieme, concludiamo troviando che

$$Var(t) \geq \frac{1}{n \cdot I(\theta)}$$

$$\tag*{$\blacksquare$}$$

---

Osservazione: La formula $Cov(X, Y)^2 \leq Var(X) \cdot Var(Y)$ può essere dimostrata considerando la seguente equazione

$$Var(x + \lambda y) = \lambda^2 \cdot Var(y) + 2 \lambda \cdot Cov(x, y) + Var(x)$$

Notiamo che tale equazione, se vista in funzione di $\lambda \in [0, 1]$, è un polinomio di secondo grado, ovvero una parabola. Sapendo poi che la varianza è sempre positiva, possiamo concludere che tale parabola si trova sopra l'asse $\lambda$. Graficamente quindi troviamo

Utilizzando poi il fatto che se $f(x) = ax^2 + bx + c$ è un polinomio di secondo grado generico, allora il punto di minimo (o massimo), si trova nelle coordinate $(x_v, y_v)$ con

• $\displaystyle{x_v = -\frac{b}{2a}}$

• $\displaystyle{y_v = \frac{-ab^2 + c4a^2}{4a^2}}$

e che il punto di minimo è $\geq 0$ se e solo se

$$\begin{split} y_v \geq 0 &\iff \frac{-ab^2 + c4a^2}{4a^2} \geq 0 \\ &\iff c \cdot a \geq \frac{b^2}{4} \\ \end{split}$$

otteniamo che nel nostro caso particolare si ha

$$\begin{cases} a = Var(y) \\ b = 2 \cdot Cov(x, y) \\ c = Var(x) \end{cases} \implies \Bigg[a \cdot c \geq \frac{b^2}{4} \iff Var(x) \cdot Var(y) \geq Cov(x, y)^2\Bigg]$$

$$\tag*{$\blacksquare$}$$

---

Consideriamo una $X \sim Poiss(\theta)$. Ricordiamo che $f(x \,\, | \,\, \theta) = \frac{\theta^x}{x!}e^{- \theta}$. Procediamo quindi calcolando l'informazione di fisher di $\theta$

$$\begin{split} I(\theta) = Var\Big[\frac{d}{d \theta} \ln{f(x \,\,|\,\, \theta)} \Big] &= Var\Big[\frac{d}{d \theta} \,\, -\theta + x \cdot \ln{\theta} \,\, \Big] \\ &= Var\Big[ -1 + \frac{x}{\theta} \Big] \\ &= Var\Big[ \frac{x}{\theta} \Big] \\ &= \frac{1}{\theta^2} \cdot Var \Big[ x \Big] \\ &= \frac{1}{\theta^2} \cdot \theta \\ &= \frac{1}{\theta} \end{split}$$

dunque nel caso di una poisson abbiamo che $I(\theta) = 1/\theta$.

Notiamo che non sempre è possibile utilizzare il bound di Cramér-Rao. Consideriamo un sample $X_1, X_2, ..., X_n$, i.i.d. con $X_i \sim U[0, \theta]$, con

$$f(x \,\,|\,\,\theta) = \begin{cases} \displaystyle{\frac{1}{\theta}} \,\,\,&,\,\,\, 0 \leq x \leq \theta \\ \\ 0 \,\,\,&,\,\,\, \text{ altrimenti } \\ \end{cases}$$

Siamo interessati a stimare $\theta$. Procediamo quindi stimando $\theta$ in due modi diversi

• Iniziamo utilizzando il metodo dei momenti per trovare il seguente stimatore

  $$\overline{X} := \mathbb{E}[X] = \frac{\theta}{2} \implies \hat{\theta} = 2 \cdot \overline{X}$$

  tale stimatore ha varianza

  $$Var(\hat{\theta}) = 4 \cdot Var(\overline{X}) = 4 \cdot \frac{Var(X)}{n} = \frac{4}{n} \cdot \frac{\theta^2}{12} = \frac{\theta^2}{3n}$$

• Andiamo adesso ad utilizzare il seguente stimatore. A tale fine consideriamo il massimo delle v.a.

  $$M(X_1, X_2, ..., X_n) = \max X_i$$

  notiamo che $\mathbb{E}[M] = \frac{n}{n+1} \cdot \theta$. Dunque, per avere uno stimatore non distorto scegliamo

  $$\hat{\theta} = \frac{n+1}{n} \cdot \max X_i$$

  Notiamo che la varianza di questo nuovo stimatore è

  $$Var(\hat{\theta}) = Var\Big(\frac{n+1}{n}\Big) \cdot M = \Big(\frac{n+1}{n}\Big)^2 \cdot Var(M)$$

  calcoliamo adesso la varianza del massimo delle uniformi

  $$\begin{split} Var[M] &= \mathbb{E}[M^2] - \mathbb{E}[M]^2 \\ &= \frac{n}{n+2} \cdot \theta^2 - \frac{n^2}{(n+1)^2} \cdot \theta^2 \\ &= \theta^2 \cdot \frac{n}{(n+2)(n+1)^2} \\ \end{split}$$

  mettendo tutto assieme, otteniamo

  $$Var(\hat{\theta}) = \Big(\frac{n+1}{n}\Big)^2 \cdot \theta^2 \cdot \frac{n}{(n+2)(n+1)^2} = \frac{\theta}{n(n+2)}$$

Notiamo che il secondo stimatore non rispetta il bound di Cramér-Rao. Questo deriva dal fatto che per lo stimatore scelto non è possibile scambiare derivata e integrale, in quanto il parametro $\theta$ appare come limite di integrazione. In altre parole, abbiamo che

$$\begin{split} \frac{d}{d \theta} \Big[\int\limits_0^{\theta} n \cdot \frac{x^{n-1}}{\theta^n} \,\, dx \Big] &= \frac{d}{d \theta} 1 = 0 \\ \int\limits_0^{\theta} \,\, \frac{d}{d \theta} \Big[ n \cdot \frac{x^{n-1}}{\theta^n} \Big] \,\, dx &= \int\limits_0^{\theta} -n^2 \cdot \frac{x^{n-1}}{\theta^{n+1}} \,\, dx = -\frac{n}{\theta} \neq 0\\ \end{split}$$