FlowingData segnala una visualizzazione di Aatish Bhatia per il New York Times, basata sulle stime di Epoch AI. Il numero da cui partire è quasi 10²⁷ operazioni per addestrare GPT 6 Astra: oltre 50 milioni di volte quelle necessarie per GPT 1 nel 2018. Lo riporta anche Bhatia sul suo sito. Un uno seguito da 27 zeri.
Che cosa stanno contando? Addizioni e moltiplicazioni eseguite durante l’addestramento. Il modello riceve una sequenza di testo, prova a prevedere il token successivo — una parola o una sua porzione — e corregge i propri parametri per migliorare la previsione. Ripetuta su enormi quantità di dati, questa procedura accumula un volume di calcoli difficile da rappresentare. È il preaddestramento, al quale seguono altre fasi per affinare il comportamento del sistema.
Ma come si arriva a questi numeri? Nella sua metodologia, Epoch AI descrive due strade principali quando il dato non è pubblicato. La prima parte dalle macchine: numero di chip × durata dell’addestramento in secondi × operazioni al secondo per chip × tasso di utilizzo effettivo. Quest’ultimo corregge la capacità teorica per i rallentamenti dovuti, per esempio, alla memoria e alle comunicazioni tra processori.
La seconda parte dal modello. Per un Transformer denso, una scorciatoia comune è C ≈ 6 × N × D: N indica i parametri, D i token complessivamente elaborati, comprese le ripetizioni. Il fattore sei approssima il lavoro necessario per produrre la previsione e propagare l’errore. Esempio puramente illustrativo: 100 miliardi di parametri e mille miliardi di token danno circa 6 × 10²³ operazioni. Le architetture che attivano solo parte dei parametri richiedono correzioni.
Sono stime, dunque, la cui precisione dipende dalle informazioni disponibili. E i FLOP, le operazioni in virgola mobile, misurano il lavoro di calcolo: per tradurli in consumi elettrici occorrono ulteriori dati sull’hardware e sull’infrastruttura.
È questo il punto che la visualizzazione rende concreto: dietro una tecnologia che usiamo attraverso una casella di testo c’è una quantità di lavoro fisico. Processori, tempo, energia.
Per approfondire.
Il cinema ha quasi triplicato le inquadrature rispetto agli anni Cinquanta
Come funziona la mappa mondiale dei fari?
Abbiamo ricalcolato l’indice di sanremesità – Il meglio di Info Data ’26
