ISTI - 07 - Teoria degli Stimatori I

da questo e dal fatto che le \(X_i\) sono i.i.d. segue che

\[\begin{split} \mathbb{E}[S^*] &= \mathbb{E}\Bigg[\frac{1}{n} \sum_{i = 1}^n X_i^2 - \Big(\frac{1}{n}\sum_{i = 1}^n X_i \Big)^2 \Bigg] \\ &= \mathbb{E}\Bigg[\frac{1}{n} \sum_{i = 1}^n X_i^2\Bigg] - \mathbb{E}\Bigg[\Big(\frac{1}{n}\sum_{i = 1}^n X_i \Big)^2 \Bigg] \\ &= \frac{1}{n} \cdot n \cdot \mathbb{E}[X_1^2] - \mathbb{E}[\bar{X}^2]\\ \end{split}\]

Infine, utilizzando la formula della varianza \(\sigma_X^2 = \mathbb{E}[X^2] - \mathbb{E}[X]^2\) e il fatto che \(\hat{\mu} = \bar{X} \sim \mathcal{N}(\mu, \,\, \sigma^2/n)\), troviamo

\(\begin{cases} \mathbb{E}[X_i^2] &= \displaystyle{\sigma_{X_i}^2 + \mathbb{E}[X_i]^2 = \sigma^2 + \mu^2} \\ \\ \mathbb{E}[\bar{X}^2] &= \displaystyle{\sigma_{\bar{X}}^2 + \mathbb{E}[\bar{X}]^2 = \frac{\sigma^2}{n} + \mu^2} \\ \end{cases}\)

mettendo tutto assieme siamo in grado di calcolare il valore atteso di \(S^*\), che è pari a

\[\begin{split} \mathbb{E}[S^*] &= \mathbb{E}[X_i^2] - \mathbb{E}[\bar{X}^2] \\ &= (\sigma^2 + \mu^2) - \Big(\frac{\sigma^2}{n} + \mu^2\Big) \\ &= \sigma^2 \cdot \Big(1 - \frac{1}{n}\Big) \\ &= \sigma^2 \cdot \Big(\frac{n - 1}{n}\Big) \\ \end{split}\]

Ora, dato che \(S^2 = n/n-1 \cdot S^*\), sapendo calcolare il valore atteso di \(S^*\) siamo anche in grado di calcolare il valore atteso di \(S\). Troviamo infatti la seguente espressione

\[\mathbb{E}[S^2] = \frac{n}{n-1} \cdot \mathbb{E}[S^*] = \frac{n}{n-1} \cdot \frac{n-1}{n} \cdot \sigma^2 = \sigma^2\]

Per quanto riguarda la varianza, possiamo utilizzare un risultato dell'algebra lineare che ci dice che, nel caso in cui il campione \(X_1, X_2, ..., X_n\), viene generato da una distribuzione normale, allora \(\bar{X}\) e \(S^2\) sono indipendenti, dove

• \(\bar{X} \sim \mathcal{N}(\mu, \sigma^2/n)\)

• \(\displaystyle{S^2 \sim \frac{\sigma^2\chi^2(n-1)}{n-1}}\)

dove \(\chi^2(n-1)\) è la distribuzione chi quadro con \(n-1\) gradi di libertà

\[\begin{split} Var[S^2] &= \Big(\frac{\sigma^2}{n-1}\Big)^2 \cdot Var\Big[\chi^2(n-1)\Big] \\ &= \Big(\frac{\sigma^2}{n-1}\Big)^2 \cdot 2(n-1) \\ &= \frac{2\sigma^4}{n-1} \end{split}\]

Dato un campione \(X_1, ..., X_n\) i.i.d., con \(X_i \sim Exp(\lambda)\), vogliamo stimare il parametro \(\lambda\). A tale fine procediamo impostando la seguente equazione

\[\bar{X} := m_1(\lambda) = \frac{1}{\lambda} \iff \lambda = \frac{1}{\bar{X}}\]

e quindi lo stimatore che cerco sarà dato dall'inverso della media. In formula,

\[\hat{\lambda} := \frac{1}{\bar{X}}\]

Se invece ho più parametri, come ad esempio nel caso in cui devo stimare i parametri di una normale \(\mathcal{N}(\mu, \sigma^2)\), allora devo impostare il seguente sistema di equazioni

\[\begin{cases} \bar{X} &:= m_1(\theta) \\ \bar{X}^2 &:= m_2(\theta) \end{cases} \iff \begin{cases} \bar{X} = \mu \\ \displaystyle{\frac{\sum X_i^2}{n} = \sigma^2 + \mu^2} \end{cases}\]

notiamo che dalla seconda equazione otteniamo

\[\sigma^2 = \frac{\sum X_i^2}{n} - \mu^2 = \frac{\sum X_i^2}{n} - \bar{X}^2 = S^*\]

quindi gli stimatori saranno

\(\begin{cases} \hat{\mu} &:= \bar{X} = \frac{1}{n} \cdot \sum\limits_i X_i \\ \hat{\sigma}^2 &:= S^* = \frac{1}{n} \cdot \sum\limits_i \Big(X_i - \bar{X}\Big)^2 \\ \end{cases}\)

Notiamo che in questo caso l'applicazione del metodo dei momenti ci ha fornito uno stimatore distorto. In ogni caso, lo stimatore che abbiamo ottenuto, anche se è distorto, è comunque consistente, ovvero funziona "bene" per grandi valori di \(n\).

Sia \(X_1, X_2, \ldots, X_n\) un campione i.i.d., con \(X_i \sim \Gamma(k, \lambda)\). Allora abbiamo che \(\mathbb{E}[X] = k/\lambda\), e \(\mathbb{E}[X^2] = k(k+1)/\lambda^2\). Al fine di utilizzare il metodo dei momenti impostiamo il seguente sistema

\[\begin{cases} \displaystyle{\frac{1}{n}\sum_i X_i := \frac{k}{\lambda}} \\ \displaystyle{\frac{1}{n}\sum_i X_i^2 := \frac{k(k+1)}{\lambda^2}} \\ \end{cases}\]

che andandolo a risolvere ci da i seguenti stimatori

\[\hat{\lambda} := \frac{\bar{X}}{S_x} \;\; , \;\; \hat{k} := \frac{\bar{X}^2}{S_x}\]

dove con \(S_x\) intendiamo la varianza campionaria, ovvero il valore

\[S_x = \frac{1}{n} \sum_i {(X_i - \bar{X})^2}\]

Sia \(X \sim Bin(n, p)\) con \(n\) noto e \(p\) da stimare. In questo caso la la funzione di verosimiglianza di \(p\) è data da

\[L(p|x) = \binom{n}{x} p^x (1 - p)^{n-x}\]

Notiamo che tale funzione ha \(3\) andamenti diversi, a seconda del valore di \(x\). Andiamo adesso a calcolare il logaritmo della funzione.

\[\ln(L(\theta|x)) = \ln{\binom{n}{x}} + x \ln{p} + (n-x)\ln{(1 - p)}\]

Al fine di calcolare il punto di massimo procediamo derivando l'espressione appena trovata

\[\begin{split} \frac{d}{d \theta}\Big[\ln{(L(\theta|x))}\Big] &= \frac{x}{p} - \frac{n-x}{1-p} \\ &= \frac{x -xp -np +xp}{p(1-p)} \\ &= \frac{x -np}{p(1-p)} \end{split}\]

Trovo quindi che la derivata si annulla per

\[x - np = 0 \iff p = \frac{x}{n}\]

notiamo come questo punto è un punto di massimo, in quanto prima di azzerarsi la funzione è positiva, e dopo essersi azzerata la funzione diventa negativa. Dunque, nel caso della binomiale, abbiamo che il parametro calcolato è

\[\hat{p} = \frac{x}{n}\]

Siano \(X_1, ..., X_n\) i.i.d. con distribuzione \(\Gamma(k ,\lambda)\). La densità congiunta di \(\underline{X}\) è data da

\[L(\theta | \underline{X}) = \displaystyle{\frac{\lambda^{kn}(X_1 + ... + X_n)^{k-1} e^{-\lambda(X_1 + ... + X_n)}}{\Gamma(k)^n}}\]

Dato che in questo caso \(L\) è una funzione a due variabili, per trovare i parametri \((k, \lambda)\) che massimizzano la funzione bisogna stare più attenti e bisogna porre una particolare enfasi per i punti di bordo e i punti in cui la derivata è \(0\). Logaritmando troviamo la seguente espressione

\[\ln{L(\theta | \underline{X})} = kn\ln{\lambda} + (k-1)\ln{X_1\cdot...\cdot X_n} - \lambda(X_1 + ... + X_n) - n\ln{\Gamma(k)}\]

Calcolando il gradiente troviamo

\[\begin{split} \frac{\partial L(\theta | \underline{X})}{\partial \lambda} = 0 &\iff \frac{kn}{\lambda} - (X_1 + ... + X_n) = 0 \iff \lambda = \frac{kn}{X_1 + X_2 + ... + X_n} \\ \\ \frac{\partial L(\theta | \underline{X})}{\partial k} = 0 &\iff n\ln{y} + \ln{X_1 + X_2 + ... + X_n} - x\frac{\Gamma^{'}(k)}{\Gamma(k)} \\ &\iff \frac{\Gamma^{'}(k)}{\Gamma(k)} - \ln{k} = \frac{\ln{X_1\cdot ... \cdot X_n}}{n} - \ln{\bar{X}} \end{split}\]

In questo caso, anche se riesco a trovare l'espressione per \(\hat{\lambda}\), non riesco comunque a trovare una formula analitica elementare per il parametro \(k\). Dunque, analiticamente, non sono in grado di stimare i parametri della distribuzione gamma tramite l'utilizzo del metodo di massima verosimiglianza. Detto questo, è sempre possibile utilizzare metodi numerici per calcolare \(\hat{k}\).

Osservazione: Come ci ha mostrato l'ultimo esempio, non è sempre possibile trovare l'espressione analitica che massimizza \(L(\theta | \underline{X})\). In questi casi bisogna quindi procedere utilizzando dei metodi numerici di approssimazione.