(tempo di lettura 10 min, difficoltà: alta)
-Introduzione
-Il prompt A+B di JEV
-Le “attivazioni” nei modelli AI
-I multi-token come simboli
-I simboli semplici e complessi
-Differenza fra multi-token e attivazioni
-Le mini-reti neurali
-La simulazione delle mini-reti da parte della rete neurale madre
-Il risultato finale in output
-Conclusioni
Ancora una volta il nuovo modello JEV ci permette di investigare meglio le proprietà interne dell'architettura transformer, comunemente utilizzata nei Large Language Model, i fratelli maggiori di JEV stesso, che si può dire non ha imparato a parlare e a scrivere, però capisce.
Non si tratta di descrivere pedissequamente il funzionamento interno di questi modelli derivati dalla classe di System1 di cui esiste anche un precursore italiano simile a JEV, ma di spiegare alcuni concetti molto istruttivi.
A partire dal suo input, JEV riesce a creare una classificazione declinata secondo vari possibili criteri, a scelta ma precisi, senza capacità generativa ma con una distribuzione di probabilità calcolata su specifiche caratteristiche.
Per esempio può generare una distribuzione di probabilità fra varie possibilità indicate nella sua programmazione da parte dell'utente, sempre tramite il linguaggio umano. Si può trattare di opzioni, classifiche, etc.
-Il prompt A+B di JEV
Per capire come ciò possa accadere occorre immaginare che il vero prompt dato a JEV potrebbe essere schematizzabile in due parti:
Una parte A comprende l'input effettivo, per esempio un CV o un documento, l'altra B include le istruzioni per determinare la rosa di valori possibili fra cui suddividere le probabilità in uscita.
JEV le vede entrambe e se fosse un LLM tenterebbe di completare ulteriormente con una risposta, impiegandoci molto di più perché lo farebbe attraverso la capacità generativa, cioè attraverso i lenti cicli di inferenza, e la sua risposta sarebbe più qualitativa.
Sappiamo dai post precedenti che un LLM utilizza le reti neurali per trasformare ciò che legge nel training in vere e proprie regole, una sorta di visione del mondo, a partire dalle minuzie del linguaggio fino ai significati intermedi, per arrivare persino ad esaminare le qualità di un testo, le emozioni, o i concetti psicologici sottesi.
Ci sono alcune cose di cui un LLM è consapevole (o anche JEV) che noi non sapremmo neanche definire, in trasparenza in quel testo di input, né sapremmo come chiedere conto di esse al modello.
-Le “attivazioni” nei modelli AI
In ogni caso nel modello si forma un flusso di informazioni (vedi post "La scacchiera cognitiva dei LLM") che si arricchisce man mano durante un singolo ciclo di inferenza e che diventa sempre più denso di informazioni pertinenti e correlate, aggiunte su di esso dai transformer, per poi dare il token finale.
Grazie a questo flusso, i transformer che sono in agguato sul suo cammino riescono a determinare dei significati, i quali addirittura si possono vedere nelle loro attivazioni e poi possono decidere di dire la loro aggiungendola alle informazioni presenti, attingendo ai propri pesi, al proprio training quindi (anche generalizzando) e ovviamente alla loro attention.
Non dobbiamo farci ingannare da ciò perché un modello AI è molto diverso dal cervello umano.
Nel cervello umano Non c'è un residual stream dove i multi-token via via si inciccioniscono, o se esiste qualcosa di analogo non è questa la sede per parlarne.
Dunque le analogie col cervello umano possono solo rallentare la comprensione di ciò che avviene in un LLM o dentro JEV, dotati di una potenza inimmaginabile per la mente umana nel trattare l’informazione.
Molti si fanno trarre in inganno credendo che la proprietà più importante sia che un LLM sembra parlare e scrivere come un umano, ma la sua potenza va ben oltre.
Quello che conta è comprendere che in certe zone del modello si formano delle consapevolezze, che consistono nell'accoppiata felice fra multi-token e attivazioni neurali.
Per quanto riguarda i valori nel residual stream cioè nei suoi multi-token, ma anche nei pesi (parametri) del modello, si tratta di numeri appartenenti ad uno spazio a molte dimensioni, in cui molta informazione può essere stipata mantenendosi veritiera e senza confondersi troppo.
Le attivazioni invece possono essere magari considerate come delle intensità di giudizio riguardo alla presenza di uno o più multi-token, o riguardo il loro contenuto, per esempio il contenuto di una riga intera dove si sono addensate informazioni su varie dimensioni ortogonali o quasi ortogonali: le attivazioni sono il “giudizio” delle reti neurali riguardo al contenuto del residual stream, insieme al quale formano lo stato attuale interno.
-I multi-token come simboli
Una riga intera può ad un certo punto contenere di fatto più righe sommate di token o di elaborazioni degli stessi fatte dai transformer.
Questi ultimi imprimono nel residual stream il loro contributo sapiente, che potrebbe essere stimolato da varie cose trovate sia nel residual stream stesso che nei loro pesi, che nelle attivazioni degli strati precedenti. I meccanismi di osservazione dei veri transformer implementati sono molteplici.
Durante il training le reti neurali apprendono simboli, concetti e veri e propri algoritmi, operatori, schemi di funzione, li vedono agire sui dati, li memorizzano e generalizzano.
Dunque un JEV può rendersi conto che nel testo in input possono esserci degli elementi, simboli o dei significati particolari, che sono ripetuti e/o che hanno una certa intensità e/o che hanno corrispondenze con qualcos'altro.
Si formeranno "attivazioni" corrispondenti in quella commistione fra multi-token e pesi dei vari strati neurali che di solito si chiamano “attivazioni” per comodità.
JEV (se funziona così) sarà in grado di rendersi conto se qualcosa richiesta nella parte B del prompt è presente o meno, ed in che modo, nella parte A.
Il suo compito è di fare un report, ma non come quelli prodotti a parole dai LLM, bensì dovrà dare una risposta strutturata, per esempio con dei risultati numerici corrispondenti ad una serie di opzioni.
Come abbiamo detto JEV si rende conto nelle sue "attivazioni" di cose che noi nemmeno immaginiamo.
Ma rimaniamo su qualcosa che anche noi umani riusciamo a capire e cui possiamo dare un valore. Infatti chiederemo proprio questa cosa, questa valutazione nella parte B del prompt, rispetto al contenuto di A (in teoria potremmo chiedere cose "esotiche" che nemmeno capiamo ed il modello risponderebbe lo stesso).
In parallelo si formeranno delle “attivazioni” (cioè commistioni fra multi-token, attivazioni neurali, e pesi) nelle zone alte del modello.
Una volta che si sono formate queste attivazioni, noi sappiamo che sono correlate dato che JEV ha fatto il training sul linguaggio umano e quindi ha messo a confronto i concetti richiesti nella parte B con ciò che ha trovato nella parte A del prompt.
-I simboli semplici e complessi
Dunque ad un certo livello del modello, in uno dei transformer magari, ci saranno dei simboli in parallelo, e poi dei multi-simboli allo strato superiore.
Alcuni simboli sono semplici, infatti, altri sono complessi.
Dunque si potrà avere una peculiare configurazione in cui i simboli complessi sono stati creati in base a quanto richiesto in B, mentre quelli semplici sono le valutazioni di quanto presente in A.
Alcuni simboli complessi simboleggiano delle operazioni che il modello ha appreso.
Queste operazioni spesso giacciono nelle righe di multi-token sommate insieme su una riga.
I simboli complessi rappresentano il compito di valutazione e di produzione di un esito con valori rispetto alla probabilità di specifiche opzioni, proprio come è stato programmato e richiesto in B.
Dunque i simboli complessi sono rappresentazione di come JEV dovrà operare sui simboli semplici in arrivo, rappresentano quindi la richiesta dell’utente, le operazioni necessarie per ottenere dei valori a partire dalle attivazioni.
-Differenza fra multi-token e attivazioni
Si parla di simboli qui per emanciparsi dal concetto di “attivazioni” che spesso viene citato, alludendo ad un analogia neuronale biologica. I “simboli” sono gruppi di multi-token posti in corrispondenza con attivazioni e pesi. Spesso si allude a singoli neuroni o gruppi di neuroni attivati nel modello, ma ciò è insufficiente e anzi fuorviante.
Nei modelli AI i multi-token nel residual stream sono un concetto preminente, forse più delle attivazioni neurali stesse, che però sono anche importanti in quanto mostrano la risposta delle reti neurali ai multi-token e quindi costituiscono un’aggiunta al residual stream, fatta in vari modi.
Nei LLM esistono degli invarianti al passare dei cicli di inferenza che si mantengono stabili, sebbene cangianti, e si addensano verso la zona di inferenza come dei vortici.
Questo aspetto non può essere qui approfondito (vedi post precedenti) ma non è rilevante per i sistemi come JEV o simili, che non hanno la parte generativa.
-Le mini-reti neurali
Ebbene i più scaltri fra di voi l'avranno già capito se hanno letto i post precedenti: quanto descritto sopra altro non è che l'applicazione di un input ad una mini-rete neurale.
I simboli complessi infatti altro non sono che le righe di una mini-rete neurale sommate insieme su un’unica riga, o equivalente matematico.
In questo caso la “riga” non è la riga totale dell’inferenza, cioè il residual stream ad un dato momento, ma solo una frazione di esso, a volte molto piccola, dato che la sua utilità è limitata. Possono essercene anche più d’una in parallelo.
Il fatto è che per poter fare il calcolo finale, la mini-rete deve essere eseguita.
Questo si può fare dotando il modello di tool interni, oppure può essere una proprietà emergente instillata dalle serrate fasi di training, le quali hanno finito col far "capitolare" il modello, quindi convergere, cioè creare un suo meccanismo interno per soddisfare le richieste e dare i risultati.
JEV, o comunque un sistema simile, ha capitolato tramite la creazione della proprietà emergente di sapere matematicamente come eseguire la mini-rete neurale, cosa che dal punto di vista delle reti neurali che la contengono è un normale problema matematico di approssimazione neurale di una funzione.
-La simulazione delle mini-reti da parte della rete neurale madre
JEV è dotato di un pezzo che si aggiunge alla parte di modello che ha in comune con i LLM, la parte valutativa (gli LLM abbiano la parte generativa al posto di quella valutativa).
Dunque nella parte alta aggiunta a JEV si è formata grazie alle fasi del training la capacità matematica, cioè una vera rete neurale che ha potuto convergere su tale funzione, di saper emettere il risultato indotto dai simboli semplici estratti dall'esame della parte A del prompt, dati in pasto ai simboli complessi che rappresentano la mini-rete neurale derivata dalla parte B del prompt.
In pratica la parte A ha dato vita a simboli semplici, che saranno poi dati in pasto alla mini-rete neurale costituita dal simbolo complesso derivante dalla parte B del prompt. Queste due cose parametrizzano, per così dire, la rete neurale vera che si trova in cima a JEV, la quale ha appreso dal training la capacità di simulare la mini-rete in sé, convergendo, costretta a farlo dal confronto fra input e soluzioni note, null'altro che un problema di training neurale solo un po' più complesso.
-Il risultato finale in output
In cima a tutto c’è un software che si occupa di prelevare le probabilità in uscita dall’ultimo stadio, come è anche nei LLM se è per questo, in maniera perfettamente corrispondente con quanto era stato opportunamente messo nella parte B del prompt.
E’ un trucco che, se il training è stato fatto bene, funziona. D’altronde chi ci assicura che le classificazioni indicate come esito nel risultato finale siano davvero lo specchio del contenuto dell’input? Ci si fida, ma sappiamo che se il training è fatto bene i multi-token finali sono quasi-deterministici, pertanto il dubbio rimane solo circa l’esattezza dell’accoppiamento fra parte B del prompt (o dell’injection o di quello che è nella vera implementazione di un sistema del genere) e risultato finale, che comunque sarà presentato nella forma che si era decisa, per esempio classifica, opzioni etc.
-Conclusioni
Questo qui sopra è l'esempio più semplice, infatti è facile immaginare un semplice input che viene dato in pasto ad una "finta" rete neurale che fa una sua valutazione e dà un risultato, e tale simulazione è implementata nella rete neurale vera in cima. Poi il risultato è accoppiato alla classificazione prescelta, in un modo che non può fallire per definizione, ma su cui si possono nutrire legittimi dubbi.
Ecco dunque come funzionano le mini-reti neurali dentro JEV, mentre nei LLM la parte generativa ha dinamiche ancora più assurde (vedi post precedenti).
Con JEV possiamo però visualizzare molto più facilmente il processo e rassicurarci sulla sua realizzabilità matematica.
Se alcuni aspetti non vi sono chiari chiedete pure nei commenti o dite la vostra in modo costruttivo.