Il vincitore del Premio Turing Richard Sutton, autore del famoso saggio "La lezione amara" del 2019, ha scritto in un nuovo contributo che la potenza di calcolo grezza da sola non è sufficiente per l'intelligenza. Sostiene che siano necessari nuovi metodi intelligenti e che la scienza dell'IA sia "ancora lontana dall'obiettivo".

La lezione amara e le sue implicazioni

Nel suo celebre saggio del 2019, Sutton aveva argomentato che, a lungo termine, i metodi generali che scalano con la potenza di calcolo si imporranno rispetto alle raffinate specializzazioni umane. Le idee decisive sono quelle che crescono con la potenza di calcolo, piuttosto che basarsi su presupposti umani.

Sutton non è nuovo a queste critiche. In precedenti dichiarazioni, aveva già criticato i limiti della pura scalatura dei grandi modelli linguistici. Ha definito i dati sintetici un "grande errore", poiché il mondo reale è infinitamente complesso e ogni simulazione è solo "microscopica". L'esperienza umana come collo di bottiglia impedisce una vera scalatura.

Agenti con modelli del mondo

Sutton ha richiesto agenti con modelli del mondo che imparano continuamente dalla propria esperienza. Il mondo è molto più complesso di quanto possa essere rappresentato nei testi di Internet. I modelli linguistici attuali non imparano ulteriormente dopo l'addestramento; è necessario un apprendimento continuo senza distruggere le conoscenze acquisite.

Le opinioni dei ricercatori

Il ricercatore di IA Jerry Tworek, che come molti altri ha lasciato OpenAI per esplorare nuovi approcci all'IA, inquadra la dichiarazione attuale di Sutton. La lezione amara continua a contare, ma più potenza di calcolo viene utilizzata per l'addestramento del modello, più importante diventa l'algoritmo.

Alcuni algoritmi scalano, altri portano a vicoli ciechi, e molte dimensioni della scalatura sono ancora completamente inesplorate. Il successo temporaneo della scalatura dei transformer e una falsa interpretazione della lezione amara hanno offuscato la mente a una generazione intera di scienziati.

Il ricercatore di IA Jayden Teoh aggiunge un'altra prospettiva: ha vissuto come la lezione amara abbia ripetutamente frenato la ricerca accademica. Troppe volte idee promettenti sono state scartate perché non erano abbastanza nel senso della lezione amara. Questo non è colpa di Sutton, ma una falsa interpretazione del suo messaggio originale.

La tensione tra nuove procedure di apprendimento e scalatura

Esattamente questa tensione tra la richiesta di Sutton di nuove procedure di apprendimento e la critica di Tworek alla scalatura cieca dei transformer si riflette in una crescente ondata di fondazioni. Nel recente KI-Radar #5 abbiamo ordinato 45 nuovi laboratori di IA che scommettono su queste lacune. Tworek stesso dirige uno di questi, Core Automation, e cerca algoritmi di apprendimento oltre l'addestramento preliminare e il reinforcement learning.

Quello che unisce questi fondatori, tra cui Sutton con Oak Lab, è la convinzione in un'IA molto più potente, ma il dubbio che la ricetta attuale li porterà lì da sola.

Le opinioni dei leader del settore

Tuttavia, alcuni leader di spicco del settore vedono la situazione in modo completamente diverso. Il CEO di OpenAI, Sam Altman, ritiene che la scalatura dei grandi modelli linguistici sia lungi dall'essere esaurita e accusa i critici dei LLM di aver frenato una generazione intera di ricercatori perché erano troppo sicuri di ciò che la scalatura non può fare.

Come prova, fa riferimento a un modello OpenAI che ha recentemente confutato un'ipotesi matematica alla quale i matematici avevano a lungo lavorato. I modelli del mondo li ritiene utili, ad esempio nella robotica, ma i dati parlano chiaramente a favore di una ulteriore scalatura dei LLM.

In modo simile argomenta il CEO di Anthropic, Dario Amodei, che descrive il progresso della scalatura come un "arcobaleno senza fine". Tuttavia, Amodei e Altman, in quanto CEO delle due aziende di IA che puntano esattamente su questo approccio tecnico, sono ovviamente prevenuti.