
L'AI funziona bene in italiano come in inglese? La Commissione UE ha costruito un test per saperlo
Testo realizzato con strumenti di intelligenza artificiale e rivisto dalla redazione. Come lavoriamo
- Redazione
- Approfondimenti
- 20 novembre 2026
Il 22 luglio 2026 la Direzione generale della Traduzione della Commissione europea ha pubblicato EU MMLU, un test per misurare se un modello di AI risponde bene anche nelle lingue dell’Unione e non solo in inglese. Il punto è semplice: un modello può prendere un ottimo voto in inglese e andare molto peggio in francese, ungherese o maltese. Lo scrive la Commissione stessa, e vale anche per chi usa l’AI in italiano ogni giorno per una mail o un modulo.
La risposta breve Il punteggio in inglese che trovi nelle classifiche non dice come se la cava un modello in italiano. EU MMLU è il primo test pubblico, fatto a mano da traduttori, per misurarlo. Non ci sono ancora classifiche modello per modello: finché non escono, la prova più affidabile è farla tu, con le tue domande, in italiano.
Cos’è, in due righe
Si parte da MMLU, un test molto usato: domande a scelta multipla su 57 materie, dalla matematica elementare al diritto. Lo hanno proposto Dan Hendrycks e altri sei autori in un articolo del 2020 presentato a ICLR 2021 (arXiv:2009.03300). Il modello riceve una domanda con quattro risposte, sceglie, e il voto è la percentuale di risposte giuste.
Il problema è che quel test è nato in inglese. EU MMLU ne prende 7 delle 57 materie, scelte perché rilevanti per il contesto europeo, e le traduce. Secondo la pagina ufficiale della Commissione la prima versione ha più di 1.000 domande.
I numeri, con la fonte
- 22 luglio 2026: data della notizia ufficiale della DG Traduzione (fonte: Commissione europea).
- Più di 1.000 domande tradotte e riviste, su 7 materie delle 57 originali (stessa fonte).
- Quasi 250 studenti di 21 università della rete European Master’s in Translation hanno contribuito: la Commissione scrive «quasi 250», il Centro di conoscenza su traduzione e interpretariato scrive «quasi 240». Le due pagine non coincidono, quindi diciamo «circa 240-250».
- 16 lingue dichiarate, ma l’elenco pubblicato ne nomina 15: croato, ceco, olandese, francese, tedesco, greco, ungherese, irlandese, italiano, lituano, polacco, portoghese, rumeno, slovacco, sloveno. L’italiano c’è. Altre lingue seguiranno.
Una correzione che facciamo a noi stessi: nel nostro post del 16 settembre avevamo scritto «20+ lingue». Le fonti primarie dicono 16 (15 nominate). Vale il numero della Commissione.
Perché è diverso dagli altri test multilingue
Secondo Slator, che ha raccontato il lancio, molti test multilingue esistenti nascono da traduzioni fatte dall’AI. Qui invece traduttori professionisti della DG Traduzione e studenti hanno tradotto le domande senza partire da una traduzione automatica e hanno corretto il lavoro l’uno dell’altro. L’obiettivo dichiarato è che ogni domanda mantenga lo stesso significato e la stessa difficoltà in tutte le lingue.
Il dataset è distribuito con licenza Creative Commons Attribution 4.0: si può riusare citando la fonte. La Commissione ha pubblicato anche criteri di qualità per i test multilingue europei, con l’ambizione di arrivare a uno standard.
Cosa NON sappiamo ancora
Non ci sono, nelle fonti che abbiamo letto, i punteggi dei singoli modelli. Sappiamo che lo strumento esiste e com’è fatto, non chi vince in italiano. Se vedi in giro una classifica «EU MMLU» con percentuali, controlla che rimandi alla Commissione: noi, oggi, non ne abbiamo trovata una ufficiale.
Come fare la prova tu, in 10 minuti
Non serve un benchmark per accorgersi se un assistente è più debole in italiano. Prova così:
- Scegli 3 domande che conosci già: una sul tuo lavoro, una su una norma italiana, una di cultura generale. Devi saper giudicare la risposta.
- Falle in italiano e poi in inglese, con le stesse parole, nella stessa conversazione nuova.
- Confronta: risposte diverse nei fatti, date o numeri sbagliati, tono più incerto in una lingua? Segnati dove cambia.
- Chiedi la fonte e aprila. Se il modello non la sa indicare, trattala come una supposizione.
- Ripeti ogni tanto: i modelli cambiano versione e i risultati con loro.
Regola pratica: per qualunque cosa abbia una conseguenza (una lettera del Fisco, una scadenza, un contratto) usa l’AI per capire e poi verifica con una persona competente. Lo abbiamo mostrato con la prova sulla lettera dell’Agenzia delle Entrate, dove Claude aveva aggiunto dettagli che nel testo non c’erano.
Un approfondimento per chi lavora con più lingue
Se il tuo lavoro tocca clienti stranieri, i numeri di un test in inglese ti dicono poco. Il test originale di Hendrycks mostrava già che i modelli hanno prestazioni «sbilanciate» e spesso non sanno quando sbagliano. Con la lingua in più il rischio cresce: un errore in una traduzione di contratto non si nota se non conosci la lingua di arrivo. Il codice e i dati del test MMLU originale sono pubblici su GitHub e il lavoro ha un identificatore stabile (DOI 10.48550/arXiv.2009.03300); per quello europeo il riferimento è la pagina della Commissione, dove trovi i link al dataset.
Se vuoi allenare lo stesso gesto su un testo tuo, prova «L’avvocato del diavolo: la miglior obiezione al tuo testo»: chiedere all’AI di attaccare ciò che ha scritto è un buon modo per capire quanto ci si può fidare.
Mandalo a chi lavora con clienti stranieri o usa l’AI in due lingue: dopo la prova dei 10 minuti saprà se il suo assistente regge anche in italiano.
Fonti: Commissione europea, DG Traduzione, 22/07/2026; Knowledge Centre on Translation and Interpretation, 13/07/2026; Hendrycks et al., arXiv:2009.03300; Slator, luglio 2026.
→ prossimo: il-test-del-collega-rileggi-la-richiesta | quando la domanda giusta conta più del modello













