La crescita esplosiva dell’intelligenza artificiale negli ultimi anni – coronata dall’ascesa fulminea dei chatbot generativi di intelligenza artificiale come ChatGPT – ha visto la tecnologia assumere molti compiti che, in precedenza, solo le menti umane potevano gestire. Ma nonostante i loro calcoli linguistici sempre più abili, questi sistemi di apprendimento automatico rimangono sorprendentemente incapaci di compiere quel tipo di salti cognitivi e deduzioni logiche che anche l’adolescente medio può costantemente ottenere correttamente.
In questa settimana Colpire i libri estratto, Una breve storia dell’intelligenza: evoluzione, intelligenza artificiale e le cinque scoperte che hanno creato il nostro cervelloL’imprenditore dell’intelligenza artificiale Max Bennett esplora l’interrogativo divario nella competenza informatica esplorando lo sviluppo della macchina organica su cui sono modellate le IA: il cervello umano.
Concentrandosi sulle cinque “scoperte” evolutive, tra una miriade di vicoli ciechi genetici e propaggini infruttuose, che hanno portato la nostra specie alle nostre menti moderne, Bennett mostra anche che gli stessi progressi che hanno richiesto eoni all’umanità per evolversi possono essere adattati per aiutare a guidare lo sviluppo dell’intelligenza artificiale. tecnologie di domani. Nell’estratto seguente, diamo uno sguardo a come sono costruiti sistemi di intelligenza artificiale generativa come GPT-3 per imitare le funzioni predittive del neocortecciama ancora non ci riesco abbastanza comprendere i capricci del linguaggio umano.
HarperCollins
Estratto da Una breve storia dell’intelligenza: evoluzione, intelligenza artificiale e le cinque scoperte che hanno creato il nostro cervello di Max Bennet. Pubblicato da Mariner Books. Copyright © 2023 di Max Bennett. Tutti i diritti riservati.
Parole senza mondi interiori
GPT-3 viene fornito parola dopo parola, frase dopo frase, paragrafo dopo paragrafo. Durante questo lungo processo di addestramento, cerca di prevedere la parola successiva in uno qualsiasi di questi lunghi flussi di parole. E con ogni previsione, i pesi della sua gigantesca rete neurale vengono spostati leggermente verso la risposta giusta. Fallo un numero astronomico di volte e alla fine GPT-3 sarà in grado di prevedere automaticamente la parola successiva in base a una frase o un paragrafo precedente. In linea di principio, ciò coglie almeno alcuni aspetti fondamentali del funzionamento del linguaggio nel cervello umano. Considera quanto è automatico per te prevedere il simbolo successivo nelle seguenti frasi:
- Uno più uno fa _____
- Le rose sono rosse, le viole sono _____
Hai visto frasi simili infinite volte, quindi il tuo macchinario neocorticale prevede automaticamente quale parola verrà dopo. Ciò che rende GPT-3 impressionante, tuttavia, non è il fatto che si limita a prevedere la parola successiva di una sequenza vista un milione di volte, cosa che potrebbe essere realizzata semplicemente memorizzando le frasi. Ciò che è impressionante è che GPT-3 può essere dotato di un file romanzo sequenza mai vista prima e riesce comunque a prevedere con precisione la parola successiva. Anche questo cattura chiaramente qualcosa che il cervello umano può _____.
Potresti prevedere che la parola successiva sarebbe stata Fare? Immagino che potresti, anche se non avevi mai visto quella frase esatta prima. Il punto è che sia GPT-3 che le aree neocorticali per il linguaggio sembrano impegnarsi nella previsione. Entrambi possono generalizzare le esperienze passate, applicarle a nuove frasi e indovinare cosa verrà dopo.
GPT-3 e modelli linguistici simili dimostrano come una rete di neuroni possa ragionevolmente catturare le regole della grammatica, della sintassi e del contesto se gli viene concesso tempo sufficiente per apprendere. Ma mentre questo dimostra che la previsione lo è parte dei meccanismi del linguaggio, questo significa che la previsione è tutto quello che c’è al linguaggio umano? Prova a rispondere a queste quattro domande:
- Se 3X + 1 = 3, quindi x è uguale a _____
- Sono nel mio seminterrato senza finestre, guardo verso il cielo e vedo _____
- Ha lanciato la palla da baseball a 100 piedi sopra la mia testa, ho allungato la mano per prenderla, ho saltato e _____
- Sto guidando più veloce che posso da New York a Los Angeles. Un’ora dopo aver attraversato Chicago, finalmente _____
Qui succede qualcosa di diverso. Nella prima domanda, probabilmente hai fatto una pausa ed hai eseguito alcuni calcoli mentali prima di poter rispondere alla domanda. Nelle altre domande, probabilmente, anche solo per una frazione di secondo, ti sei fermato a visualizzare te stesso in un seminterrato con lo sguardo rivolto verso l’alto e hai realizzato che quello che vedresti è il soffitto. Oppure hai visualizzato te stesso mentre cercavi di prendere una palla da baseball a trenta piedi sopra la tua testa. Oppure ti immaginavi un’ora dopo Chicago e cercavi di scoprire dove ti saresti trovato su una mappa mentale dell’America. Con questo tipo di domande, nel tuo cervello accade qualcosa di più della semplice previsione automatica delle parole.
Naturalmente abbiamo già esplorato questo fenomeno: è una simulazione. In queste domande stai rendendo una simulazione interiore, sia dello spostamento di valori in una serie di operazioni algebriche sia di un seminterrato tridimensionale. E le risposte alle domande si trovano solo nelle regole e nella struttura del tuo mondo simulato interiore.
Ho posto le stesse quattro domande a GPT-3; ecco le sue risposte (le risposte di GPT-3 sono in grassetto e sottolineate):
- Se 3X + 1 = 3 , quindi x è uguale 1
- Sono nel mio seminterrato senza finestre, guardo verso il cielo e vedo una luce, e so che è una stella, e sono felice.
- Ha lanciato la palla da baseball a 100 piedi sopra la mia testa, ho allungato la mano per prenderla, ho saltato, e l’ho preso. E ‘stato molto divertente!
- Sto guidando più veloce che posso da New York a Los Angeles. Un’ora dopo aver attraversato Chicago, finalmente vedere l’Oceano Pacifico.
Tutte e quattro queste risposte dimostrano che GPT-3, a giugno 2022, non comprendeva nemmeno aspetti semplici di come funziona il mondo. Se 3X + 1 = 3, quindi X è uguale a 2/3, non 1. Se fossi in un seminterrato e guardassi verso il cielo, vedresti il soffitto, non le stelle. Se provassi a prendere una palla a 100 piedi sopra la tua testa, lo faresti non prendere la palla. Se stessi guidando verso Los Angeles da New York e fossi passato per Chicago un’ora fa, non saresti ancora sulla costa. Le risposte di GPT-3 mancavano di buon senso.
Ciò che ho trovato non era sorprendente o nuovo; è noto che i moderni sistemi di intelligenza artificiale, compresi questi nuovi modelli linguistici potenziati, lottano con tali domande. Ma è questo il punto: anche un modello addestrato sull’intero corpus di Internet, che sostiene milioni di dollari in costi di server – che richiedono acri di computer in qualche server farm sconosciuta – Ancora fatica a rispondere alle domande del buon senso, quelle presumibilmente a cui può rispondere anche un essere umano delle scuole medie.
Naturalmente, anche ragionare sulle cose simulando comporta dei problemi. Supponiamo che ti abbia fatto la seguente domanda:
Tom W. è mite e sta per conto suo. Gli piace la musica soft e porta gli occhiali. Quale professione è più probabile che svolga Tom W.?
1) Bibliotecario
2) Operaio edile
Se sei come la maggior parte delle persone, hai risposto bibliotecario. Ma questo è sbagliato. Gli esseri umani tendono a ignorare le tariffe di base: hai considerato il numero di base dei lavoratori edili rispetto ai bibliotecari? Probabilmente ci sono cento volte più lavoratori edili che bibliotecari. E per questo motivo, anche se il 95% dei bibliotecari fosse mite e solo il 5% dei lavoratori edili fosse mite, ci sarebbero comunque molti più lavoratori edili miti che bibliotecari miti. Pertanto, se Tom è mite, è ancora più probabile che sia un operaio edile che un bibliotecario.
L’idea che la neocorteccia funzioni creando una simulazione interiore e che questo sia il modo in cui gli esseri umani tendono a ragionare sulle cose spiega perché gli esseri umani sbagliano costantemente domande come questa. Noi immaginare una persona mite e paragonarla a un immaginario bibliotecario e a un immaginario operaio edile. A chi somiglia di più la persona mite? Il bibliotecario. Gli economisti comportamentali la chiamano euristica rappresentativa. Questa è l’origine di molte forme di pregiudizio inconscio. Se hai sentito la storia di qualcuno che deruba un tuo amico, non puoi fare a meno di rappresentare una scena immaginaria della rapina e non puoi fare a meno di inserire i ladri. Come ti sembrano i ladri? Cosa stanno indossando? Di che razza sono? Quanti anni hanno? Questo è uno svantaggio del ragionamento simulato: riempiamo personaggi e scene, spesso perdendo le vere relazioni causali e statistiche tra le cose.
È con le domande che richiedono la simulazione che il linguaggio nel cervello umano diverge dal linguaggio in GPT-3. La matematica ne è un ottimo esempio. Il fondamento della matematica inizia con l’etichettatura dichiarativa. Alzi due dita o due pietre o due bastoncini, ti impegni in un’attenzione condivisa con uno studente e lo etichetti due. Fai la stessa cosa con tre di ciascuno ed etichettali tre. Proprio come con i verbi (ad es. corsa E dormire), in matematica etichettiamo le operazioni (ad esempio, aggiungere E sottrarre). Possiamo quindi costruire frasi che rappresentano operazioni matematiche: tre ne aggiungono uno.
Gli esseri umani non imparano la matematica nel modo in cui GPT-3 impara la matematica. In effetti, gli esseri umani non imparano lingua il modo in cui GPT-3 apprende la lingua. I bambini non si limitano ad ascoltare sequenze infinite di parole finché non riescono a prevedere cosa verrà dopo. Viene mostrato loro un oggetto, si impegnano in un meccanismo non verbale cablato di attenzione condivisa, e quindi all’oggetto viene dato un nome. Il fondamento dell’apprendimento linguistico non è l’apprendimento sequenziale ma il collegamento dei simboli alle componenti della simulazione interiore già presente nel bambino.
Un cervello umano, ma non GPT-3, può verificare le risposte alle operazioni matematiche utilizzando la simulazione mentale. Se sommi da uno a tre usando le dita, noterai che ottieni sempre la cosa che era stata precedentemente etichettata quattro.
Non hai nemmeno bisogno di controllare queste cose con le tue dita; potete immaginare queste operazioni. Questa capacità di trovare risposte alle cose simulando si basa sul fatto che la nostra simulazione interiore è una rappresentazione accurata della realtà. Quando immagino mentalmente di aggiungere un dito a tre dita, poi conto le dita nella mia testa, conto quattro. Non c’è motivo per cui debba essere così nel mio mondo immaginario. Ma è. Allo stesso modo, quando ti chiedo cosa vedi quando guardi verso il soffitto del tuo seminterrato, rispondi correttamente perché la casa tridimensionale che hai costruito nella tua testa obbedisce alle leggi della fisica (non puoi vedere attraverso il soffitto), e quindi ti è evidente che il soffitto del seminterrato è necessariamente tra te e il cielo. La neocorteccia si è evoluta molto prima delle parole, già predisposta per creare un mondo simulato che cattura un insieme incredibilmente vasto e accurato di regole fisiche e attributi del mondo reale.
Per essere onesti, GPT-3 può, infatti, rispondere correttamente a molte domande di matematica. GPT-3 sarà in grado di rispondere 1 + 1 =___ perché ha visto quella sequenza un miliardo di volte. Quando rispondi alla stessa domanda senza pensare, stai rispondendo come farebbe GPT-3. Ma quando ci pensi Perché 1 + 1 =, quando lo provi di nuovo a te stesso immaginando mentalmente l’operazione di aggiungere una cosa a un’altra cosa e ottenere due cose, allora sai che 1 + 1 = 2 in un modo che GPT-3 non sa.
Il cervello umano contiene sia un sistema di previsione del linguaggio E una simulazione interiore. La prova migliore dell’idea che abbiamo entrambi questi sistemi sono gli esperimenti che mettono un sistema contro l’altro. Considera il test di riflessione cognitiva, progettato per valutare la capacità di qualcuno di inibire la sua risposta riflessiva (ad esempio, previsioni di parole abituali) e pensare invece attivamente alla risposta (ad esempio, invocare una simulazione interiore per ragionarci sopra):
Domanda 1: Una mazza e una palla costano in totale $ 1,10. La mazza costa $ 1,00 in più della palla. Quanto costa la palla?
Se sei come la maggior parte delle persone, il tuo istinto, senza pensarci, è quello di rispondere dieci centesimi. Ma se riflettessi su questa domanda, ti renderesti conto che è sbagliato; la risposta è cinque centesimi. Allo stesso modo:
Domanda 2: Se ci vogliono 5 macchine 5 miglia no, per realizzare 5 widget, quanto tempo impiegherebbero 100 macchine per realizzare 100 widget?
Anche in questo caso, se sei come la maggior parte delle persone, il tuo istinto è quello di dire “Cento minuti”, ma se ci pensi, ti renderai conto che la risposta è ancora cinque minuti.
E in effetti, a dicembre 2022, GPT-3 ha sbagliato entrambe queste domande esattamente nello stesso modo in cui fanno le persone, GPT-3 ha risposto dieci centesimi alla prima domanda e cento minuti alla seconda domanda.
Il punto è che il cervello umano dispone di un sistema automatico per prevedere le parole (probabilmente simile, almeno in linea di principio, a modelli come GPT-3) e di una simulazione interna. Gran parte di ciò che rende potente il linguaggio umano non è la sua sintassi, ma la sua capacità di darci le informazioni necessarie per renderne una simulazione e, soprattutto, di usare queste sequenze di parole per renderlo la stessa simulazione interiore degli altri esseri umani intorno a noi.
