WMR 24 - Neural Networks I

• Date: [2020-05-11 lun]

• Course Site: Web Mining e Retrieval (a.a. 2019/20)

• Lecturer: Roberto Basili.

• Slides: ()

• Table of Contents:

In questa lezione introduciamo i concetti di deep learning e neural networks.

Il deep learning si è affermato come evoluzione della tradizionale teoria statistica dell'apprendimento, andando ad enfatizzare la capacità di aumentare l'espressività dei modelli attraverso l'utilizzo della profondità, ovvero attraverso l'utilizzo di un numero di neuroni sempre più grandi. Tramite il deep learning è quindi possibile imparare funzioni sempre più complesse andando ad aumentare il numero di parametri coinvolti nei modelli utilizzati.

Una caratteritica nell'avere così tanti parametri è che risulta estremamente difficile spiegare il "comportamento" della rete, ovvero è difficile capire perché ad un determinato input la rete a risposto in un determinato modo. Il problema della explainability è difficile da risolvere per le reti neurali in quanto l'architettura del modello è fortemente legata al calcolo numerico e quindi l'informazione viene dispersa in tantissime unità di elaborazioni.

Al contrario delle SVMs, nelle architetture di deep learning noi non siamo più interessati a legge lineari, ma siamo invece interessati a modelli altamente non lineari.

Come avevamo menzionato parlando della PAC-learnability, noi apprendiamo muovendoci tra ipotesi più specifiche e ipotesi più generali.

Le reti neurali fanno la stessa cosa. In particolare il nostro obiettivo è quello di interpolare la funzione ottima \(f^*(x)\) che associa ad ogni vettore delle feature dell'istanza presa in considerazione la classe desiderata. L'idea quindi è quella di approssimare la funzione ideale con una funzione \(h(x)\) che appartiene alla famiglia delle funzioni \(g(x; \theta)\) parametrizzata in \(\theta\) in modo tale da avere che

\[\forall x \in L: h(x) \approx f^*(x)\]

dove \(L\) è il learning set.

Avevamo poi visto che per i modelli a complessità bassa la macchina non ci consente di variare molto il suo comportamento. Detto questo, abbiamo anche una varianza bassa, e quindi l'errore che effettuiamo nel training set sarà molto vicino a quello effettuato nel test sample.

Al crescere della complessità invece abbiamo una grande capacità di adattare il nostro modello alla funzione desiderata, ma così facendo aumentiamo anche la varianza.

I modelli lineari sono quei modelli in cui le features sono combinate tra loro linearmente per ottenere la funzione \(h(x)\). In particolare

\[h(\overline{x}) = g\Big( \sum\limits_n \theta_n x_n + b \Big)\]

Il percettrone è leggermente più generale di una legge lineare, in quanto non è sempre utilizzata per separare linearmente i dati (come nel caso delle SVMs), e può essere descritto nel seguente modo

Quando abbiamo un semplice neurone la legge \(h\) è ottenuta applicando una funzione di attivazione \(g\) (eventualmente non lineare) ad una combinazione lineare delle features pesate

\[h(\overline{x}) = g(\overline{x} ; \overline{\theta}, b) = g\Big(\sum\limits_n \theta_n x_n + b \Big)\]

Se noi poi aumentiamo la capacità di un singolo percettrone andando ad aggiungere neuroni a strati otteniamo un percettrone a due layers

In questo modo quindi abbiamo delle funzioni aggiunive \(g^{(1)}, g^{(2)}, \ldots, g^{(k)}\) che danno luogo alla seguente funzione

\[\begin{split} h(\overline{x}) &= g^{(2)}\Big(g^{(1)}(\overline{x}, \overline{\theta}^{(1)}, b^{(1)}); \overline{\theta}^{(2)}, b^{(2)}\Big) \\ &= g^{(2)} \Big(W^{(2)}\Big(g^{(1)}\Big(W^{(1)} \overline{x} + b^{(1)} \Big) \Big) + b^{(2)} \Big) \\ \end{split}\]

dove \(W^{(1)}\) è una matrice \(3 \times 3\) e \(W^{(2)}\) è una matrice \(3 \times 1\).

Iterando questo procedimendo posso aggiungere layers su layers.

In formula,

\[h(\overline{x}) = g^{(k)} \Big( W^{(k)} g^{(k-1)}(W^{(k-1)} \ldots g^{(1)}(W^{(1)} \cdot \overline{x} + b^{(1)}) \ldots + b^{(k-1)}) + b^{(k)} \Big)\]

Data una rete neurale, abbiamo che

• \(n_l\) è il number of layers, ovvero il numero di layers.

• \(s_l\) invece determina il numero di unità nel primo layer.

• Il layer \(l\) è denotato \(L_l\).

• Il layer \(l\) e il layer \(l+1\) sono connessi tramite una matrice \(W^{(l)}\) di parametri, in cui \(W^{(l)}_{i, j}\) connette l' \(i\) esimo neurone dello strato successivo al \(j\) esimo neurone dello stato precedente.

• \(b^{(l)}_i\) è il bias associato al neurone \(i\) nel layer \(l+1\).