L'intelligenza artificiale, incluso ChatGPT, è in grado di scrivere poesie, comporre musica e tradurre testi. Tuttavia, spesso si blocca sui semplici problemi matematici. Perché un chatbot che gestisce compiti linguistici complessi non riesce con la matematica a livello di scuola elementare?
Tokenizzazione: Quando i numeri si smembrano
Uno dei problemi chiave è la tokenizzazione. Questo processo suddivide i dati in parti più piccole, chiamate token. Immaginate come un puzzle che spezza le parole in sillabe. Il tokenizzatore, il modello di intelligenza artificiale responsabile di questo processo, non comprende il significato dei numeri.
Può succedere che il numero 380 venga percepito come un token, mentre 381 come due (38 e 1).
Questo distrugge le relazioni tra le cifre e complica il calcolo...
