L'AI funziona bene in italiano come in inglese? La Commissione UE ha costruito un test per saperlo

L'AI funziona bene in italiano come in inglese? La Commissione UE ha costruito un test per saperlo

Testo realizzato con strumenti di intelligenza artificiale e rivisto dalla redazione. Come lavoriamo

Il 22 luglio 2026 la Direzione generale della Traduzione della Commissione europea ha pubblicato EU MMLU, un test per misurare se un modello di AI risponde bene anche nelle lingue dell’Unione e non solo in inglese. Il punto è semplice: un modello può prendere un ottimo voto in inglese e andare molto peggio in francese, ungherese o maltese. Lo scrive la Commissione stessa, e vale anche per chi usa l’AI in italiano ogni giorno per una mail o un modulo.

La risposta breve Il punteggio in inglese che trovi nelle classifiche non dice come se la cava un modello in italiano. EU MMLU è il primo test pubblico, fatto a mano da traduttori, per misurarlo. Non ci sono ancora classifiche modello per modello: finché non escono, la prova più affidabile è farla tu, con le tue domande, in italiano.

Cos’è, in due righe

Si parte da MMLU, un test molto usato: domande a scelta multipla su 57 materie, dalla matematica elementare al diritto. Lo hanno proposto Dan Hendrycks e altri sei autori in un articolo del 2020 presentato a ICLR 2021 (arXiv:2009.03300). Il modello riceve una domanda con quattro risposte, sceglie, e il voto è la percentuale di risposte giuste.

Il problema è che quel test è nato in inglese. EU MMLU ne prende 7 delle 57 materie, scelte perché rilevanti per il contesto europeo, e le traduce. Secondo la pagina ufficiale della Commissione la prima versione ha più di 1.000 domande.

I numeri, con la fonte

  • 22 luglio 2026: data della notizia ufficiale della DG Traduzione (fonte: Commissione europea).
  • Più di 1.000 domande tradotte e riviste, su 7 materie delle 57 originali (stessa fonte).
  • Quasi 250 studenti di 21 università della rete European Master’s in Translation hanno contribuito: la Commissione scrive «quasi 250», il Centro di conoscenza su traduzione e interpretariato scrive «quasi 240». Le due pagine non coincidono, quindi diciamo «circa 240-250».
  • 16 lingue dichiarate, ma l’elenco pubblicato ne nomina 15: croato, ceco, olandese, francese, tedesco, greco, ungherese, irlandese, italiano, lituano, polacco, portoghese, rumeno, slovacco, sloveno. L’italiano c’è. Altre lingue seguiranno.

Una correzione che facciamo a noi stessi: nel nostro post del 16 settembre avevamo scritto «20+ lingue». Le fonti primarie dicono 16 (15 nominate). Vale il numero della Commissione.

Perché è diverso dagli altri test multilingue

Secondo Slator, che ha raccontato il lancio, molti test multilingue esistenti nascono da traduzioni fatte dall’AI. Qui invece traduttori professionisti della DG Traduzione e studenti hanno tradotto le domande senza partire da una traduzione automatica e hanno corretto il lavoro l’uno dell’altro. L’obiettivo dichiarato è che ogni domanda mantenga lo stesso significato e la stessa difficoltà in tutte le lingue.

Il dataset è distribuito con licenza Creative Commons Attribution 4.0: si può riusare citando la fonte. La Commissione ha pubblicato anche criteri di qualità per i test multilingue europei, con l’ambizione di arrivare a uno standard.

Cosa NON sappiamo ancora

Non ci sono, nelle fonti che abbiamo letto, i punteggi dei singoli modelli. Sappiamo che lo strumento esiste e com’è fatto, non chi vince in italiano. Se vedi in giro una classifica «EU MMLU» con percentuali, controlla che rimandi alla Commissione: noi, oggi, non ne abbiamo trovata una ufficiale.

Come fare la prova tu, in 10 minuti

Non serve un benchmark per accorgersi se un assistente è più debole in italiano. Prova così:

  1. Scegli 3 domande che conosci già: una sul tuo lavoro, una su una norma italiana, una di cultura generale. Devi saper giudicare la risposta.
  2. Falle in italiano e poi in inglese, con le stesse parole, nella stessa conversazione nuova.
  3. Confronta: risposte diverse nei fatti, date o numeri sbagliati, tono più incerto in una lingua? Segnati dove cambia.
  4. Chiedi la fonte e aprila. Se il modello non la sa indicare, trattala come una supposizione.
  5. Ripeti ogni tanto: i modelli cambiano versione e i risultati con loro.

Regola pratica: per qualunque cosa abbia una conseguenza (una lettera del Fisco, una scadenza, un contratto) usa l’AI per capire e poi verifica con una persona competente. Lo abbiamo mostrato con la prova sulla lettera dell’Agenzia delle Entrate, dove Claude aveva aggiunto dettagli che nel testo non c’erano.

Un approfondimento per chi lavora con più lingue

Se il tuo lavoro tocca clienti stranieri, i numeri di un test in inglese ti dicono poco. Il test originale di Hendrycks mostrava già che i modelli hanno prestazioni «sbilanciate» e spesso non sanno quando sbagliano. Con la lingua in più il rischio cresce: un errore in una traduzione di contratto non si nota se non conosci la lingua di arrivo. Il codice e i dati del test MMLU originale sono pubblici su GitHub e il lavoro ha un identificatore stabile (DOI 10.48550/arXiv.2009.03300); per quello europeo il riferimento è la pagina della Commissione, dove trovi i link al dataset.

Se vuoi allenare lo stesso gesto su un testo tuo, prova «L’avvocato del diavolo: la miglior obiezione al tuo testo»: chiedere all’AI di attaccare ciò che ha scritto è un buon modo per capire quanto ci si può fidare.

Mandalo a chi lavora con clienti stranieri o usa l’AI in due lingue: dopo la prova dei 10 minuti saprà se il suo assistente regge anche in italiano.

Fonti: Commissione europea, DG Traduzione, 22/07/2026; Knowledge Centre on Translation and Interpretation, 13/07/2026; Hendrycks et al., arXiv:2009.03300; Slator, luglio 2026.

→ prossimo: il-test-del-collega-rileggi-la-richiesta | quando la domanda giusta conta più del modello

Condividi:

Continua a leggere

Vuoi cambiare mestiere? Il piano di 90 giorni che ci ha dato Claude, con i suoi limiti

Vuoi cambiare mestiere? Il piano di 90 giorni che ci ha dato Claude, con i suoi limiti

Otto anni in amministrazione nella logistica, 5 ore a settimana per studiare, 300 euro di budget e il sogno di fare la project manager. È il caso che abbiamo inventato per provare la richiesta pronta Vuoi cambiare mestiere? Un piano di 90 giorni con CV e rete(https://aiallamano.com/richieste/cambiar

Leggi la prova →
L'avvocato del diavolo: l'AI ti dà la miglior obiezione al tuo testo, prima dell'assemblea

L'avvocato del diavolo: l'AI ti dà la miglior obiezione al tuo testo, prima dell'assemblea

La maggior parte di noi prepara una proposta, la rilegge due volte e la porta in riunione convinta che sia ovvia. Poi qualcuno alza la mano e fa la domanda a cui non avevamo pensato. Questa settimana abbiamo provato a far fare quella domanda a Claude prima che la faccia un'altra persona, con la rich

Leggi la prova →
Sonnet 4 costa il 50% in più di GPT-5: su 10 milioni di token sono 50 dollari

Sonnet 4 costa il 50% in più di GPT-5: su 10 milioni di token sono 50 dollari

Quanto costa far lavorare un'AI al mese? Dipende dal listino, e i listini si leggono in dollari per milione di token. Il 19 novembre 2026 abbiamo letto quelli ufficiali di Anthropic e OpenAI: Claude Sonnet 4 costa 15 dollari per milione di token in uscita, GPT-5 ne costa 10. Il rapporto è 1,5, cioè

Leggi la prova →
Se il tuo cliente più grande se ne va: lo stress test che Claude ha fatto a un'agenzia da 180.000 euro

Se il tuo cliente più grande se ne va: lo stress test che Claude ha fatto a un'agenzia da 180.000 euro

Un cliente che porta metà dei ricavi è un problema che si vede solo il giorno in cui chiama per disdire. Abbiamo provato a metterlo nero su bianco con la richiesta pronta Stress test della tua attività: scenari migliore, medio e peggiore(https://aiallamano.com/richieste/scenari-e-rischi-della-tua-at

Leggi la prova →
«Tutti i politici sono ladri, quindi è inutile votare»: dove sbaglia il ragionamento

«Tutti i politici sono ladri, quindi è inutile votare»: dove sbaglia il ragionamento

Un messaggio come questo arriva prima o poi in ogni gruppo di classe, di famiglia o di colleghi: «Tutti i politici sono ladri, quindi è inutile votare». Suona convincente perché è breve e perché parte da una rabbia che ha ragioni vere. Il problema è un altro: il ragionamento ha due crepe, e si posso

Leggi la prova →
Cliente che non paga da 60 giorni: la mail ferma, provata con dati finti

Cliente che non paga da 60 giorni: la mail ferma, provata con dati finti

Cliente che non paga da 60 giorni? Ecco la mail ferma. Prompt intero e risposta vera di Claude del 28/10/2026.

Leggi la prova →
Cloudflare Tunnel: il server di casa online senza aprire il router. La prova su un gestionale finto

Cloudflare Tunnel: il server di casa online senza aprire il router. La prova su un gestionale finto

Cloudflare Tunnel: il server di casa online senza aprire una porta sul router. È il demone cloudflared ad aprire le connessioni verso Cloudflare, e solo in

Leggi la prova →
Foto del documento sfocata?

Foto del documento sfocata?

Foto del documento sfocata? Ecco 4 mosse. Il prompt e la risposta vera di Claude, passo per passo.

Leggi la prova →
Il primo flusso n8n in 3 passi, senza scrivere codice: come si fa

Il primo flusso n8n in 3 passi, senza scrivere codice: come si fa

Il primo flusso n8n in 3 passi, senza scrivere codice. Passo 1: avvii n8n. Fair-code, si self-hosta con Docker: un container sulla porta 5678 e sei dentro

Leggi la prova →
Una lettera del Fisco che non capisci: la prova con una comunicazione inventata

Una lettera del Fisco che non capisci: la prova con una comunicazione inventata

Una lettera del Fisco che non capisci? Ecco la risposta vera di Claude, in 4 punti, con il prompt per intero.

Leggi la prova →
Uptime Kuma: sapere che un servizio è giù prima del cliente. Un piano di controlli provato su uno studio finto

Uptime Kuma: sapere che un servizio è giù prima del cliente. Un piano di controlli provato su uno studio finto

Uptime Kuma: sapere che un servizio è giù prima che te lo scriva un cliente. È open-source con licenza MIT e gira in un container Docker sulla porta 3001.

Leggi la prova →
YouTube etichetta da solo i video fotorealistici fatti con l'IA: cosa cambia, provato su quattro video finti

YouTube etichetta da solo i video fotorealistici fatti con l'IA: cosa cambia, provato su quattro video finti

YouTube ora etichetta da solo i video fotorealistici fatti con l'IA. Anche se chi li pubblica non lo dichiara. A ottobre 2026 la piattaforma ha confermato

Leggi la prova →