ML - 23 - Neural Networks I

Per un qualsiasi vettore di input di \(d\) elementi \(x = (x_1, \ldots, x_d)\), il primo layer di una rete neurale è caratterizzato da \(m_1 > 0\) valori \(a_1^{(1)}, \ldots, a_{m_1}^{(1)}\), detti activations, che sono ottenuti combinando con gli elementi di input tramite dei pesi attraverso una combinazione lineare

\[a_{j}^{(1)} = \sum\limits_{i = 1}^d w_{ji}^{(1)} x_i + w_{j0}^{(1)} = \overline{\mathbf{x}}^T \mathbf{w}_j^{(1)}\]

dove \(w_{ji}\) è il peso dell'arco che collega la feature \(i\) al nodo \(j\) e \(\overline{\mathbf{x}} = (1, x_1, \ldots, x_d)^T\).

Il totale dei coefficienti nel primo layer è quindi \((d+1) \cdot m_1\), dove \(m_1\) è un iperparametro del modello.

Ogni attivazione \(a_j^{(1)}\) è trasformata utilizzando una funzione di attivazione non lineare \(h_1\) per ottenere il valore \(z_j^{(1)}\).

Alla fine quindi l'output del layer è un vettore \(\mathbf{z}^{(1)} = (z_1^{(1)}, \ldots, z_{m_1}^{(1)})\) con

\[z_j^{(1)} = h_1(a_j^{(1)}) = h_1\big(\overline{\mathbf{x}}^T \mathbf{w}_j^{(1)}\big)\]

Tipicamente possiamo assumere che la funzione \(h_1\) è una funzione di tipo sigmoide, ovvero

\[\sigma(x) = \frac{1}{1 + e^{-x}}\]

oppure una tangente iperbolica

\[\tanh{(x)} = \frac{e^x - e^{-x}}{e^x + e^{-x}} = \frac{1}{1 + e^{-2x}} - \frac{1}{1 + e^{ex}} = \sigma(2x) - \sigma(-2x)\]

Continuando la nostra costruzione, possiamo utilizzare il vettore \(\mathbf{z}^{(1)}\) come input per il prossimo layer, in cui \(m_2\) hidden units sono utilizzate per calcolare un nuovo vettore \(\mathbf{z}^{(2)} = (z_1^{(2)}, \ldots, z_{m_2}^{(2)})\) andando prima a calcolare una combinazione lineare dei valori di inpu

\[a_k^{(2)} = \sum\limits_{i = 1}^{m_1} w_{ki}^{(2)} z_i^{(1)} + w_{k0}^{(2)} = (\overline{\mathbf{z}}^{(1)})^T \overline{\mathbf{w}}_k^{(2)}\]

e poi applicando una funzione non lineare \(h_2\)

\[z_k^{(2)} = h_2((\overline{\mathbf{z}}^{(1)})^T \overline{\mathbf{w}}_k^{(2)})\]

Graficamente,

Con l'introduzione di questo layer i coefficienti del modello sono divetanti \((d + 1)m_1 + (m_1 + 1)m_2\).

La stessa costruzione di prima può essere iterata per ogni layer interno, dove il layer \(r\) ha \(m_r\) unità che utilizzando il vettore di input \(\mathbf{z}^{(r-1)}\) per ottenere il vettore di output \(\mathbf{z}^{(r-1)}\) tramite prima una combinazione lineare

\[a_k^{(r)} = (\overline{\mathbf{z}}^{(r-1)})^T \overline{\mathbf{w}}_k^{(r)}\]

e poi una trasformazione non lineare

\[z_k^{(r)} = h_r(a_k^{(r)}) = h_r((\overline{\mathbf{z}}^{(r-1)})^T \overline{\mathbf{w}}_k^{(r)})\]

Alla fine di tutti questi inner layers c'è poi un solo output layer.

Il layer di output è caratterizzato dal fatto che i valori in uscita da questo layer devono poter essere interpretati in funzione del problema che vogliamo risolvere attraverso la rete neturale.

Possibili differenze della struttura del layer di output a seconda del contesto di utilizzo:

• Regressione: In questo caso l'ultimo layer ci deve fornire un valore, e quindi è costituito da un solo nodo.

• Classificazione binaria: In questo caso l'ultimo layer avrà un solo elemento che ci darà il valore di probaiblità di appartenenza ad una classe.

• Classicazione multiclasse: In questo caso, l'output layer dovrà avere un insieme di \(k\) valori, ciascuno dei quali rappresenta la probabilità di appartenenta dell'elemento alla particolare classe \(C_k\). In questo caso dobbiamo imporre che la somma di tali valori sia proprio \(1\).

In generale quindi il layer \(t\) (quello di output) fornisce un vettore di output \(\mathbf{y} = \mathbf{z}^{(t)}\) prodotto nuovamente da \(m_t\) output units (unità di output) che prima si occupa di calcolare una combinazione lineare

\[a_k^{(t)} = (\overline{\mathbf{z}}^{(t-1)})^T \overline{\mathbf{w}}_k^{(t)}\]

e poi applicano a quanto ottenuto una trasforamzione non lineare \(h_t\)

\[y_k = z_k^{(t)} = h_t((\overline{\mathbf{z}}^{(t-1)})^T \overline{\mathbf{w}}_k^{(t)})\]

dove la funzione \(h_t\) dipende dal particolare problema che si vuole risolvere. In particolare troviamo:

• Regressione: \(h_t\) è la funzione identità.

• Classificazione binaria: \(h_t\) è funzione sigmoide.

• Classicazione multiclasse: \(h_t\) è la funzione softmax.