Punti salienti:
- Sfide con i modelli linguistici di grandi dimensioni:
- Le aziende di IA, tra cui OpenAI, stanno affrontando ritardi e difficoltà nell'addestramento di nuovi modelli linguistici di grandi dimensioni.
- Secondo Ilya Sutskever (1) i metodi attuali, basati sull'espansione dei dati e sulla potenza computazionale, stanno mostrando segni di saturazione in termini di risultati.
- Nuovi approcci all'addestramento:
- Si stanno sviluppando tecniche innovative che emulano il ragionamento umano per migliorare l'efficacia dei modelli di IA.
- Il modello "o1" di OpenAI utilizza una metodologia avanzata che permette di "pensare" in modo più simile all'uomo, affrontando problemi in più fasi.
- Problemi strutturali ed energetici:
- I costi elevati e la complessità tecnica nell'esecuzione dei cosiddetti "training runs" rappresentano un ostacolo significativo.
- L'accesso limitato a dati di qualità e la crescente domanda di energia aggravano le difficoltà.
- Test-time compute:
- Una tecnica emergente permette ai modelli di dedicare maggiore potenza computazionale durante la fase di utilizzo (inference), migliorando le risposte per compiti complessi come problemi matematici o di programmazione.
- Prospettive competitive nell'hardware:
- Questi sviluppi potrebbero ridurre la dipendenza dalle GPU di Nvidia, aprendo opportunità per altre tecnologie nel mercato dell'inference.
- Implicazioni per il futuro dell'IA:
- Laboratori come Anthropic, xAI e Google DeepMind stanno adottando approcci simili, aumentando la competizione nel settore.
- Gli investitori stanno rivalutando le loro strategie alla luce di queste innovazioni.
Fonte: Reuters
(1) Ilya Sutskever è un informatico di origine russo-israeliana-canadese, noto per i suoi contributi nel campo dell'intelligenza artificiale e del deep learning. È uno dei co-fondatori di OpenAI e ha ricoperto il ruolo di Chief Scientist presso l'organizzazione fino al 2023. Sutskever è stato uno dei principali sostenitori dell'approccio di "scaling up" dei modelli di intelligenza artificiale, utilizzando grandi quantità di dati e potenza di calcolo per migliorare le capacità dei modelliNel 2024, ha co-fondato Safe Superintelligence Inc. (SSI), un'azienda che si concentra su nuove tecniche di addestramento per superare le limitazioni dei modelli di linguaggio di grandi dimensioni. Sutskever è anche noto per il suo lavoro su AlexNet, una rete neurale convoluzionale che ha avuto un impatto significativo nel campo del riconoscimento delle immagini.
