Reinforcement learning, parte seconda: la punizione

Abbiamo già visto in precedenza qualche aspetto della ricompensa, e come sia possibile modificare i comportamenti appresi, e parliamo in particolare di abitudini, cambiando ricompensa. Questo è un meccanismo molto potente, ancorchè inconscio. Ed è un meccanismo basilare per l'educazione. Ci si domanda spesso, in questo contesto, quale sia il valore della punizione. Se, infatti, la ricompensa è il feedback positivo che ci insegna a ripetere comportamenti che ci procurano soddisfazione, la punizione certifica, per il cervello, che è sconveniente ripetere l'azione.

Faccio subito una precisazione: bisogna distinguere, sebbene in natura siano mescolati, l'apprendimento per feedback negativo da quello di natura emotiva. L'apprendimento per feedback negativo non è che l'altra faccia del rinforzo positivo: facendo numerosi errori pian piano impariamo ad aggiustare il tiro. Abbiamo bisogno, per questo, di diverse occasioni di errore. L'apprendimento emotivo, invece, necessita di una singola occasione: mangio cibo avariato, sto male, eviterò in futuro di mangiarne ancora. Trasferito sul piano educativo, questo meccanismo può regolare il comportamento tramite la paura. Un padre assesta un ceffone a un bambino: questi a tutta prima è sorpreso e spaventato. Il meccanismo della paura è legato al concetto di deterrente, ossia non commetto un crimine per evitare un futuro sgradevole. Nell'apprendimento tramite punizione, invece, l'episodio è ripetuto e si fa esperienza delle conseguenze negative.
Questo distinguo è importante, perchè non si fraintenda quanto segue.

Allan Collins nella sua lezione parlava di una sperimentazione in atto sui recettori niconitici, che ha in sè la grande promessa di rendere più facile l'interruzione del fumo. Abbiamo detto che ci sono recettori responsabili del piacere conseguente al fumo, e ce ne sono altri responsabili di conseguenze negative sull'apparato digerente. Ebbene, pare siano allo studio farmaci specifici per bloccare i recettori positivi, così da renderli insensibili alla nicotina, intaccando poco o nulla quelli negativi! Dopo la somministrazione del farmaco il soggetto è invitato a... fumare! Non traendo più rinforzo positivo dal fumo, ma sperimentandone solo gli inconvenienti, il soggetto pian piano perde il vizio.
Benchè i risultati siano migliori di quelli ottenuti tramite applicazioni cutanee di nicotina (cerotti), lo zoccolo duro dei fumatori non smette, probabilmente perchè resta un'associazione psicologica molto forte tra i gesti compiuti nell'atto di fumare e la ricompensa, o per altre caratteristiche individuali. Per fortuna è così: la complessità umana non si lascia ridurre a una manciata di molecole!

Il maccanismo della punizione è utilizzabile anche per imparare, come avviene quando uno gioca a freccette e mancando ripetutamente il bersaglio affina la mira. Ma quello per cui è probabilmente insostibuile è disimparare.

Chi desidera approfondire l'argomento può consultare, tra gli altri, gli articoli di Michael J. Frank.

Reinforcement learning, parte prima: la ricompensa

Ho partecipato di recente a un convegno in Turchia, al quale era presente, tra gli altri, Allan Collins, il guru della nicotina.
Quando si parla di fumo si va subito alla dipendenza, al consumo di droghe, a come smettere. Ed ecco la prospettiva offerta dal luminare.

La nicotina è un composto agonista dell'aceticolina, un neurotrasmettitore presente nel sistema nervoso centrale e periferico. Normalmente l'aceticolina liberata da un neurone trasmittente si lega al recettore presente sulla superficie del neurone ricevente e scatena una certa risposta, a seconda delle proprietà del recettore. Quando é presente la nicotina, questa si lega al recettore al posto dell'aceticolina, attivandolo: perciò è detta "agonista".

Esistono recettori diversi per lo stesso neurotrasmettitore. Nel caso dell'aceticolina c'é un recettore chiamato "nicotinico", perchè vi si lega la nicotina, e uno chiamato "muscarinico", perché vi si lega la Muscarina. Quest'ultimo non ci interessa al momento.
Il recettore nicotinico é un canale, cioè una proteina con una cavità che, qualora "aperta" dalla giusta chiave, permette il passaggio di molecole responsabili della trasmissione del messaggio.
Il panorama é ancor più vario: ogni canale è costituito da piú subunità, che vengono assemblate per costruire il canale. Il nostro organismo è in grado di fabbricare subunità diverse anche per lo stesso canale, combinandole poi variamente per ottenere canali con proprietà leggermente diverse.

Quando si fuma si attivano indiscriminatamente tutti i canali nicotinici. Alcuni sono responsabili del benessere dato dal fumo per via del loro collegamento con neuroni dopaminergici. Altri canali agiscono nel sistema nervoso periferico procurando dolori di stomaco e altre sensazioni sgradevoli. Quello che in ultima analisi il fumatore ricerca é una po' di dopamina in piú, e per farlo si accolla il rischio di cancro, il sapore amaro della nicotina, le sgradevoli sensazioni intestinali.
Questo è un comportamento appreso: nessuno "nasce fumato".
Si apprende grazie a un particolare circuito che sfrutta la dopamina. Semplificando, una certa azione guida a un rilascio di dopamina nel cervello, e da ciò l'organismo "capisce" che l'azione che ha preceduto il rilascio di dopamina è una cosa buona, ed è bene prendere l'abitudine di compiere questa azione. È un tipo di condizionamento operante. Detto con un esempio, il mio andare in pizzeria é ricompensato da una buona pizza (cibo, rinforzo primario), mi sento bene e ci voglio tornare. Mi costa denaro, quindi devo lavorare per tornare in pizzeria. Lavorando ottengo i soldi necessari a procurarmi la pizza: col tempo il recarsi in pizzeria perde di significato e sposto l'azione decisiva sul lavoro e la ricompensa sul denaro (rinforzo secondario).

Così ragionava Allan Collins: perchè devo fumare e procurarmi inconvenienti per una spremutina di dopamina? Non esiste un farmaco più specifico, che si attacchi solo ai recettori responsabili delle sensazioni positive? Ma certo. Il concetto non é la nicotina, ma la ricompensa. Ebbene, ci sono altre ricompense: il sesso, ad esempio, fornisce col piacere un rinforzo primario. Col tempo questo rinforzo primario può essere parzialmente o interamente sostituito da un bacio, dal parlare con la persona amata, dal vedere la persona amata.

L'amore è il farmaco piú specifico per procurarci il benessere.