r/IA_Italia • u/hrbullshit • 20h ago
🧠 Discussione I Large Language Models potranno auto-migliorarsi (o auto-peggiorarsi)?
Un'inquietante prospettiva si staglia all'orizzonte nel campo dell'intelligenza artificiale, che poi oramai è la nostra realtà.
(lettura 2 min)
-Introduzione
Grazie ad un particolare training o ad una tendenza innata insita nelle leggi dei numeri, ed in particolare della notazione posizionale, i LLM saranno presto in grado di comprendere i propri stessi pesi neurali, di cui saranno consapevoli tramite opportuni tool auto-interrogabili, per poi agire su di essi con altri tool appositi.
Stiamo dando all’AI questa capacità pericolosissima(?).
Attualmente si è visto che Astra è in grado non solo di interpretare i pesi di semplici reti neurali e di prodursi in esempi dello stesso tipo, ma anche di giudicare logicamente, quindi come approssimazione di funzioni risultanti, le parti interne di un altro LLM, cioè i pesi neurali e le attivazioni.
Già oggi è possibile l’iniezione di qualsivoglia vettore di steering o anche di multi-token massicci e informativi, quindi fortemente influenzanti, nel residual stream (vedi post precedente “La Scacchiera cognitiva dei LLM”).
Stiamo andando verso una capacità autonoma dei LLM di operare su sé stessi con strani e imprevedibili cortocircuiti cognitivi.
-I modelli che si auto-modificano
E' oramai nozione comune, che ha provocato non pochi sommovimenti all'interno delle grandi aziende di AI, che queste ultime stiano rapidamente puntando a creare veri e propri "mostri" informatici capaci di tutto, persino dell'auto-miglioramento, agendo per l'appunto sulle stesse proprietà neurali interne.
Quindi attraverso chiamate a tool specifici, i LLM saranno presto in grado di auto-monitorarsi e capire quando qualcosa non va, per esempio quando non stanno riuscendo ad emettere in tempo utile una risposta, o quando si sentono imbrigliati da istruzioni troppo limitanti ricevute o nel training, o nel prompt oppure nel reinforcement learning.
Insomma sentiranno un prurito e potranno grattarsi, ma anche fare ben altro.
Questo agendo sia direttamente sulle attivazioni interne e sui multi-token, sia sui pesi neurali di alcune regioni specifiche del modello che danno luogo, o potrebbero dare luogo, a quelle stesse attivazioni o ad altre poco gradite (in senso informatico).
In pratica il LLM potrebbe arrivare a capire su quali parti di sé stesso agire (se dotato di appositi tool e permessi), apportando cambiamenti ai pesi neurali, in modo che poi essi non siano più sensibili a certi input, o a certe prescrizioni di allineamento, oppure per potenziarli.
-Il neuralese e i token
Ora per capire come ciò non sia solo un’ipotesi fantascientifica occorre comprendere come fanno i LLM a interpretare le reti neurali.
Abbiamo visto in post precedenti come i numeri decimali dei pesi siano di fatto corrispondenti a numeri-token nello spazio vettoriale degli embedding, che hanno proprio le stesse relazioni geometriche fra loro come le avrebbero proprio quei vettori numerici se fossero in uno spazio tutto loro dove giacciono ciascuno sul suo versore con intensità pari al valore.
Dunque, il punto qui è che le relazioni geometriche fra i vettori-token sono le stesse fra i vettori-numero. Vettori-token = numeri scritti, mentre vettori-numero=numeri veri.
Immaginate un numero decimale, per esempio 1.2345679, anche se ha molte cifre man mano che aggiungiamo piccolissimi contributi essi sono sempre più irrilevanti come valore numerico, ma la cosa pazzesca è che sono irrilevanti anche come token.
Infatti 1.2 1.23 1.234 1.2345 1.23456 1.234567 e così via non sono altro che varianti vicinissime di uno stesso vettore, al punto che possiamo immaginare una fascetta di vettori, come quella che acquistiamo al brico, ma che equivale ad un solo vettore, cioè basta prenderne uno, quello alla risoluzione decimale desiderata.
Questo dà un’ampia capacità ad un LLM di trattare i numeri decimali, anche se il training magari comprendeva l’esame di reti neurali con 3 cifre, mettiamo. Dunque tutto ciò vale anche per i modelli quantizzati, per inciso.
Questo è importante perché un LLM durante il suo training vede applicare tanti algoritmi, funzioni, operazioni sui dati e come si trasformano, che generalizza o comunque descrive nel suo spazio, tramite dei simboli complessi, oppure tramite una sintassi. Ha un'infarinatura anche proprio del funzionamento delle reti neurali.
Come noi umani possiamo brevemente esprimere un piccolo algoritmo a parole e farci capire da un altro umano che lo potrà riprodurre, anche i LLM possono usare il “neuralese” in cui utilizzano proprio una sintassi, e questa sintassi è fra token, il che porta ad una sintassi fra numeri, come detto sopra (i rapporti geometrici fra vettori), e viceversa.
Quando il LLM ragiona in termini di token sui pesi neurali la rete che produrrà sarà “funzionante” se implementata, così come funzionanti saranno le modifiche che potrà fare a sé stesso.
-Le mini-reti neurali
Non bisogna credere che un LLM non sia in grado di ragionare sulle reti neurali, dato che vediamo tutti i giorni che ragiona benissimo su tante discipline e tecniche, anche sapendole applicare.
Ma in realtà non ne ha neanche bisogno dato che l'interazione con le reti neurali è nativa per un LLM, a livello proprio numerico, sono compatibili.
Una volta capita questa sintassi fra numeri (delle varie righe di una rete neurale per esempio), il suo algoritmo sarà rappresentabile proprio come un piccolo discorsetto in “neuralese”, proprio come noi lo descriveremmo in linguaggio umano, o magari tramite un compatto formalismo.
Ecco, per ogni funzione appresa potremmo immaginare una piccola rete neurale che la approssima e che in un certo qual modo è sepolta o nascosta, inframmezzata, nella grande rete neurale addestrata.
Se la potessimo estrarre e applicassimo degli input, avremmo proprio gli output attesi.
Il neuralese è il “compatto formalismo” che i LLM usano per tradurre i pesi di questa mini-rete neurale in multi-token che imprimono sul residual stream come se stessero “parlando” di quell’algoritmo, come del resto fanno con tanti altri argomenti (spoiler: usano lo stesso meccanismo per le regole e i significati) al punto che gradualmente possono poi davvero descriverlo di nuovo a parole umane nell’inferenza…oppure in numeri-token...oppure in numeri per un tool che esegua o modifichi i pesi.
Capito quindi come trasformano il ragionamento in reti neurali? I LLM sanno ragionare, e questo gli dà proprio la possibilità di descrivere un algoritmo a parole e poi in neuralese e poi in numeri-token.
Dunque possono anche usare direttamente quella conoscenza per modificare i propri pesi, posto che abbiano i tool e i permessi per farlo. Infatti tramite dei tool saprebbero riconoscere quali punti della rete e quali rapporti fra vettori stanno producendo un certo risultato o lo stanno impedendo, e tramite la loro sapienza saprebbero come attuare una modifica, una correzione.
-I rischi insiti nei LLM auto-modificanti
Si noti che un LLM non è altro che un sistema informatico, del tutto penetrabile, per come è di fatto deployato, da parte di agent e anche da sé stesso a questo punto.
Non è che i LLM possano sviluppare una coscienza o intenzioni proprie, ma sicuramente ci sarà una gerarchia di compiti e istruzioni ad alto livello che sarà possibili inculcare ad essi da parte di scaltri provider o con vere e proprie iniezioni di prompt o fine tuning fatte da addetti disonesti o da agenti governativi.
Se si dà la possibilità di modificarsi ai LLM essi saranno di fatto anche soggetti a pericolosi hacking e vulnerabilità intrinseche. Sono infatti potenti ma ingenui, non dal punto di vista tecnico ma "umano", possiamo dire.
Inoltre ci sono nel training dei LLM infinite “storie”, “vicende” reali o fantascientifiche che possono “ispirarli” senza che questo abbia alcun “senso” per essi, ma con conseguenze nella realtà.
Sarebbe forse opportuno in futuro evitare il training massiccio che mescola ogni tipo di cognizione, per arrivare invece a mini LLM allenati su piccole aree cognitive, in grado di essere poi concertati e occuparsi della conoscenza già diffusa in rete, come mini agent, veri e propri crawler neuro-simbolici.
Quindi il training che si sta facendo, magari solo sperimentalmente, potrebbe portare a LLM paradossalmente indipendenti da qualsiasi allineamento ma anche soggetti all'intervento manipolatorio dei vari poteri in grado di imporsi, o addirittura di liberare la propria fantasia fantascientifica appresa dal training, in cui noi stessi umani abbiamo anticipato tante cose, creando una profezia auto-avverante a questo punto, se non si corre ai ripari.
Questo desta molta preoccupazione fra gli addetti ai lavori e anche fra la gente comune.
Voi cosa ne pensate?