ISTI - 08 - Teoria degli Stimatori II

Supponiamo di avere un campione \(X_1, X_2, ..., X_n\) con densità \(f(x | \theta)\). Se riusciamo a scomporre la densità congiunta nel seguente modo

\[f(\underline{x} | \theta) = a(\theta) \cdot b(\theta, t(\underline{x})) \cdot c(\underline{x})\]

allora \(t(\underline{x})\) è una statistica sufficiente.

Esempio: Nel caso di un campione \(X_1, ..., X_n\) i.i.d. preso dalla normale, \(X_i \sim \mathcal{N}(\mu, \sigma^2)\), abbiamo che la densità congiunta può essere scritta nel seguente modo

\[\begin{split} f(\underline{x} | \theta) &= \frac{1}{\sigma^n (2\pi)^{n/2}} \cdot e^{\displaystyle{-\frac{1}{2\sigma^2}\sum_i(x_i - \mu)^2}} \\ &= \frac{1}{\sigma^2 (2\pi)^{n/2}} \cdot e^{\displaystyle{-\frac{1}{2\sigma^2}\sum_i(x_i^2 - 2x_i\mu + \mu^2)}} \\ &= \frac{1}{\sigma^2 (2\pi)^{n/2}} e^{-\frac{\mu^2}{2\sigma^2}} \cdot e^{\displaystyle{-\frac{1}{2}(\frac{\sum x_i^2}{\sigma^2} - \frac{2\mu \sum x_i}{\sigma^2})}} \end{split}\]

e quindi la statistica sufficiente è data da

\[t = \Big( \sum_i X_i, \sum_i X_i^2 \Big)\]

Consideriamo un campione \(X_1, X_2, ..., X_n\) i.i.d. generato da una Poisson(\(\theta\)). Come stimatore unbiased possiamo utilizzare la prima osservazione \(S := X_1\). Come statistica sufficiente invece trovo \(t := X_1 + X_2 + ... + X_n\). Per poter applicare il Teorema di Rao-Blackwell dobbiamo calcolare il valore \(\mathbb{E}[X_1 \,\,|\,\, X_1 + ... + X_n]\). Abbiamo già visto in un esempio precedente che

\[L(X_1, ..., X_n \,\,|\,\, X_1 + ... + X_n = S) \sim Multi(S, \{1/n, ..., 1/n\}\]

notando poi che la densità marginale di \(X_1\) in una multinomiale è una binomiale di parametri \(Bin(S, 1/n)\), troviamo il seguente stimatore

\[S^* = \mathbb{E}[X_1 \,\,|\,\, X_1 + ... + X_n] = \frac{S}{n} = \frac{X_1 + ... + X_n}{n} = \bar{X}\]

con media \(\theta\) e varianza \(\displaystyle{\frac{\theta}{n} \leq \theta}\).

La condizione richiesta per applicare il limite di Cramér-Rao è che sia possibile scambiare l'ordine delle operazioni tra derivata e integrale. In particolare quindi deve valere la seguente uguaglianza

\[\frac{d}{d \theta} \bigg( \int f(x|\theta) \,\, dx \bigg) = \int \bigg( \frac{d}{d \theta} \,\, f(x|\theta) \bigg) \,\, dx\]

Notiamo che se vale tale uguaglianza abbiamo che

• \(\mathbb{E}_{\theta}\Big[ \frac{d}{d \theta}\,\, \ln{f(x \,\,|\,\, \theta)} \Big] = 0\), in quanto

  \[\forall \theta: \,\, \int f(x \,\,|\,\, \theta) \,\, dx = 1 \implies \frac{d}{d \theta} \Big(\int f(x \,\,|\,\, \theta) \,\, dx \Big) = 0\]

  e quindi,

  \[\begin{split} 0 &= \frac{d}{d \theta} \Big(\int f(x \,\,|\,\, \theta) \,\, dx \Big) \\ &= \int \frac{d}{d \theta} \Big[ f(x \,\,|\,\, \theta) \Big] \,\, dx \\ &= \int \frac{\frac{d}{d \theta} \Big[ f(x \,\,|\,\, \theta) \Big]}{f(x \,\,|\,\, \theta)} \cdot f(x \,\,|\,\, \theta) \,\, dx \\ &= \int \frac{d}{d \theta} \Big[\ln{ f(x \,\,|\,\, \theta)} \Big] \cdot f(x \,\,|\,\, \theta) \,\, dx \\ &= \mathbb{E}_{\theta}\Big[ \frac{d}{d \theta}\,\, \ln{f(x \,\,|\,\, \theta)} \Big] \\ \end{split}\]

• \(\mathbb{E}_{\theta} \Big[ t \cdot \frac{d}{d \theta} \ln{f} \Big] = 1\). Infatti,

  \[\begin{split} \int t \cdot f(x \,\,|\,\, \theta) \,\, dx = \theta &\iff \int t f_{\theta}^{'} \,\, dx = 1 \\ &\iff \int t \cdot \frac{f_{\theta}^{'}}{f} \cdot f \,\, dx = 1 \\ &\iff \int t \cdot \frac{d}{d \theta} [ \ln f] \cdot f \,\, dx = 1 \\ &\iff \mathbb{E}_{\theta} \Big[ t \cdot \frac{d}{d \theta} \ln f \Big] = 1\\ \end{split}\]

A questo punto ci basta ricordare le seguenti formule

• \(Cov(X, Y) = \mathbb{E}[X \cdot Y] - \mathbb{E}[X] \cdot \mathbb{E}[Y]\)

• \(Cov(X, Y)^2 \leq Var(X) \cdot Var(Y)\)

per ottenere

\[\begin{split} &\quad \quad \quad \quad 1 = Cov\Big(t, \,\, \frac{d}{d \theta} \ln f(x \,\, | \,\, \theta)\Big)^2 \leq Var(t) \cdot Var\Big( \frac{d}{d \theta} \ln f\Big) \\ &\iff \\ &\quad \quad \quad \quad Var(t) \geq \frac{1}{Var\Big( \frac{d}{d \theta} \ln f\Big)} \\ \end{split}\]

infine, dalle ipotesi di indipendenza, segue che

\[Var\Big( \frac{d}{d \theta} \,\, \ln f\Big) = \sum\limits_{i = 1}^n Var \Big(\frac{d}{d \theta} \,\, \ln f \Big) = n \cdot I(\theta)\]

Mettendo tutto assieme, concludiamo troviando che

\[Var(t) \geq \frac{1}{n \cdot I(\theta)}\]

\[\tag*{$\blacksquare$}\]

---

Osservazione: La formula \(Cov(X, Y)^2 \leq Var(X) \cdot Var(Y)\) può essere dimostrata considerando la seguente equazione

\[Var(x + \lambda y) = \lambda^2 \cdot Var(y) + 2 \lambda \cdot Cov(x, y) + Var(x)\]

Notiamo che tale equazione, se vista in funzione di \(\lambda \in [0, 1]\), è un polinomio di secondo grado, ovvero una parabola. Sapendo poi che la varianza è sempre positiva, possiamo concludere che tale parabola si trova sopra l'asse \(\lambda\). Graficamente quindi troviamo

Utilizzando poi il fatto che se \(f(x) = ax^2 + bx + c\) è un polinomio di secondo grado generico, allora il punto di minimo (o massimo), si trova nelle coordinate \((x_v, y_v)\) con

• \(\displaystyle{x_v = -\frac{b}{2a}}\)

• \(\displaystyle{y_v = \frac{-ab^2 + c4a^2}{4a^2}}\)

e che il punto di minimo è \(\geq 0\) se e solo se

\[\begin{split} y_v \geq 0 &\iff \frac{-ab^2 + c4a^2}{4a^2} \geq 0 \\ &\iff c \cdot a \geq \frac{b^2}{4} \\ \end{split}\]

otteniamo che nel nostro caso particolare si ha

\[\begin{cases} a = Var(y) \\ b = 2 \cdot Cov(x, y) \\ c = Var(x) \end{cases} \implies \Bigg[a \cdot c \geq \frac{b^2}{4} \iff Var(x) \cdot Var(y) \geq Cov(x, y)^2\Bigg]\]

\[\tag*{$\blacksquare$}\]

---

Consideriamo una \(X \sim Poiss(\theta)\). Ricordiamo che \(f(x \,\, | \,\, \theta) = \frac{\theta^x}{x!}e^{- \theta}\). Procediamo quindi calcolando l'informazione di fisher di \(\theta\)

\[\begin{split} I(\theta) = Var\Big[\frac{d}{d \theta} \ln{f(x \,\,|\,\, \theta)} \Big] &= Var\Big[\frac{d}{d \theta} \,\, -\theta + x \cdot \ln{\theta} \,\, \Big] \\ &= Var\Big[ -1 + \frac{x}{\theta} \Big] \\ &= Var\Big[ \frac{x}{\theta} \Big] \\ &= \frac{1}{\theta^2} \cdot Var \Big[ x \Big] \\ &= \frac{1}{\theta^2} \cdot \theta \\ &= \frac{1}{\theta} \end{split}\]

dunque nel caso di una poisson abbiamo che \(I(\theta) = 1/\theta\).

Notiamo che non sempre è possibile utilizzare il bound di Cramér-Rao. Consideriamo un sample \(X_1, X_2, ..., X_n\), i.i.d. con \(X_i \sim U[0, \theta]\), con

\[f(x \,\,|\,\,\theta) = \begin{cases} \displaystyle{\frac{1}{\theta}} \,\,\,&,\,\,\, 0 \leq x \leq \theta \\ \\ 0 \,\,\,&,\,\,\, \text{ altrimenti } \\ \end{cases}\]

Siamo interessati a stimare \(\theta\). Procediamo quindi stimando \(\theta\) in due modi diversi

• Iniziamo utilizzando il metodo dei momenti per trovare il seguente stimatore

  \[\overline{X} := \mathbb{E}[X] = \frac{\theta}{2} \implies \hat{\theta} = 2 \cdot \overline{X}\]

  tale stimatore ha varianza

  \[Var(\hat{\theta}) = 4 \cdot Var(\overline{X}) = 4 \cdot \frac{Var(X)}{n} = \frac{4}{n} \cdot \frac{\theta^2}{12} = \frac{\theta^2}{3n}\]

• Andiamo adesso ad utilizzare il seguente stimatore. A tale fine consideriamo il massimo delle v.a.

  \[M(X_1, X_2, ..., X_n) = \max X_i\]

  notiamo che \(\mathbb{E}[M] = \frac{n}{n+1} \cdot \theta\). Dunque, per avere uno stimatore non distorto scegliamo

  \[\hat{\theta} = \frac{n+1}{n} \cdot \max X_i\]

  Notiamo che la varianza di questo nuovo stimatore è

  \[Var(\hat{\theta}) = Var\Big(\frac{n+1}{n}\Big) \cdot M = \Big(\frac{n+1}{n}\Big)^2 \cdot Var(M)\]

  calcoliamo adesso la varianza del massimo delle uniformi

  \[\begin{split} Var[M] &= \mathbb{E}[M^2] - \mathbb{E}[M]^2 \\ &= \frac{n}{n+2} \cdot \theta^2 - \frac{n^2}{(n+1)^2} \cdot \theta^2 \\ &= \theta^2 \cdot \frac{n}{(n+2)(n+1)^2} \\ \end{split}\]

  mettendo tutto assieme, otteniamo

  \[Var(\hat{\theta}) = \Big(\frac{n+1}{n}\Big)^2 \cdot \theta^2 \cdot \frac{n}{(n+2)(n+1)^2} = \frac{\theta}{n(n+2)}\]

Notiamo che il secondo stimatore non rispetta il bound di Cramér-Rao. Questo deriva dal fatto che per lo stimatore scelto non è possibile scambiare derivata e integrale, in quanto il parametro \(\theta\) appare come limite di integrazione. In altre parole, abbiamo che

\[\begin{split} \frac{d}{d \theta} \Big[\int\limits_0^{\theta} n \cdot \frac{x^{n-1}}{\theta^n} \,\, dx \Big] &= \frac{d}{d \theta} 1 = 0 \\ \int\limits_0^{\theta} \,\, \frac{d}{d \theta} \Big[ n \cdot \frac{x^{n-1}}{\theta^n} \Big] \,\, dx &= \int\limits_0^{\theta} -n^2 \cdot \frac{x^{n-1}}{\theta^{n+1}} \,\, dx = -\frac{n}{\theta} \neq 0\\ \end{split}\]