ISTI - 06 - Overview della Statistica

Dato che a priori ci potrebbero essere più metodi per stimare il valore di un parametro per una data distribuzione, al fine di scegliere qual'è il "migliore" stimatore sarà necessario introdurre dei vari criteri che ci possono aiutare in questa scelta.

In particolare, sempre consideriando il caso di uno stimatore per il parameto \(p\) di una binomiale \(Bin(n, p)\), abbiamo i due seguenti criteri:

1. Uno stimatore \(\hat{p}(x)\) è detto unbiased, o non distorto, quando

   \[\mathbb{E}_{p}[\hat{p}(x)] = p, \;\; \forall p \in [0,1]\]

   dove con \(\mathbb{E}_{p}\) intendiamo la media di \(\hat{p}(x)\) assumendo che il corretto valore del parametro sia proprio \(p\).

1. Una ulteriore richiesta che possiamo imporre ad uno stimatore è quella di minimizzare la varianza \(Var_p[\hat{p}(x)]\).

Osserviamo fin da subito che non esiste uno stimatore \(\hat{p}(x)\) che minimizza la varianza rispetto a tutti i \(p \in [0,1]\). Infatti, se \(\hat{p} = 1/2\), allora nel caso in cui \(p = 1/2\) si ha che \(Var[\hat{p}(x)] = 0\), e quindi non esiste uno stimatore che ha una varianza più piccola di tutti gli altri stimatori. Notiamo però che lo stimatore \(\hat{p} = 1/2\) non è unbiased. Un risultato classico della statistica ci dice che se ci restringiamo alla classe degli stimatori unbiased, allora esiste uno stimatore (unbiased) che minimizza la varianza rispetto a tutti gli altri stimatori (unbiased).

Se lo stimatore \(\hat{p}(x)\) non assume un valore specifico ma bensì assume dei valori possibili attorno al valore che mi interessa (in questo caso \(p\)), possiamo utilizzare la varianza \(Var[\hat{p}(x)]\) per misurare la precisione dello stimatore.

A tale fine si definisce \(\sqrt{Var[\hat{p}(x)]}\) come lo standard error dello stimatore.

Utilizzando lo standard error e la stima calcolata si possono definire degli intervalli di confidenza (confidence intervals). Dato un valore da stimare \(X\), un intervallo di confidenza di \(X\) è un intervallo \([a(X), b(X)]\) in cui \(X\) si trova con "alta probabilità".

Possiamo quindi avere intervalli di confidenza acon vari livelli di precisioni (i maggiori usati danno una probabilità del \(95\%\), \(98\%\) fino al \(99\%\)). In ogni caso, dato che non conosco il parametro \(p\), non potrò mai sapere con certezza se quello che ho stimato è effettivamente il parametro giusto.

Osservazione: L'interpretazione più corretta degli intervalli di confidenza è la seguente: quando diciamo che un intervallo di confidenza ha una precisione del \(95\%\), stiamo dicendo che il metodo utilizzato per calcolare l'intervallo di confidenza in questione genera degli intervalli che contengono il parametro vero il \(95\%\) delle volte. Dunque non è corretto dire che il valore effettivo per parametro è contenuto con \(95\%\) di probabilità all'interno dell'intervallo di confidenza. Questa differenza è sottile ma cruciale da capire.

Supponiamo di avere un campione aleatorio formato da \(n\) v.a. \(X_1, X_2, ..., X_n\), aventi una distribuzione continua con densità \(f(x)\). L'idea è quella di utilizzare \(X_1, X_2, ..., X_n\) per inferire qualcosa sulla densità \(f(x)\). Inizialmente, per semplicità, le v.a. \(X_i\) si possono assumere i.i.d. Queste ipotesi possono poi essere diminuite gradualmente, per ottenere modelli sempre più complessi e potenti.

Seguono qualche considerazioni generali su tale tematica

• Come primo approccio l'utilizzo di un istogramma con un campione grande può essere molto utile per intuire la forma della densità \(f(x)\). Questa proprietà segue dal fatto che, in media, ogni pilastro dell'istogramma ha l'altezza giusta rispetto alla distribuzione teorica. Dunque, se non sappiamo nulla sulla distribuzione, è sempre utile iniziare con un istogramma. Ulteriori approfondamenti sul modello matematico dell'istogramma sono disponibili nel seguente link ITDM - Lezione 08 Data Mining II.

• Se invece sappiamo qualcosa sulla forma teoria di \(f(X)\), ad esempio se sappiamo che \(X_i \sim \mathcal{N}(\mu, \sigma^2)\), allora l'unica cosa che ci resta da stimare sono i parametri \(\mu\) e \(\sigma^2\). Notiamo che dare una forma teorica alla densità che vogliamo studiare è una ipotesi molto forte. Nel caso di una normale \(\mathcal{N}(\mu, \sigma^2)\) possiamo poi utilizzare i seguenti stimatori

  \[\begin{cases} \hat{\mu} &:= \displaystyle{\frac{X_1 + X_2 + ... + X_n}{n}} \\ \\ \hat{\sigma^2} &:= S^2 = \displaystyle{\frac{1}{n - 1} \sum\limits_{i = 1}^n (X_i - \bar{X})^2} \\ \end{cases}\]

• Se invece ho un campione \(X_1, ..., X_n\) i.i.d. preso dalla distribuzione uniforme \(X_i \sim U[0, \theta]\) di cui non conosco il parametro \(\theta\), un metodo classico utilizzato per stimare \(\theta\) è chiamato il metodo della massima verosimiglianza, in inglese il metodo della \textit{Maximum Likelihood} (\textbf{M.L.}).

Osservazione: Gran parte dei metodi utilizzati in statistica danno degli ottimi risultati per \(n \to \infty\). In generale se si ha pochi dato è molto difficile dire qualcosa di significativo. Al fine di risolvere questa problematica e ottenere molti dati in modi sostenibili viene estensivamente utilizzata la simulazione.