AI ALLA MANO · 20 settembre 2026
PaperBench: 8.300 task per capire se un agente AI sa davvero replicare ricerca, non solo parlarne.
PaperBench: 8.300 task per capire se un agente AI sa davvero replicare ricerca, non solo parlarne.
OpenAI l'ha creato per testare gli agenti LLM sulla riproduzione di paper di frontiera, con un giudice LLM sottoposto a sua volta a meta-valutazione.
Sul leaderboard BenchLM comanda Qwen3.8 Max, 93,0% di accuratezza nello snapshot pubblico. Io lo tratto come termometro di affidabilità su task complessi, non come classifica assoluta da seguire alla cieca.
Lo useresti per scegliere un modello prima di un task di ricerca lunga? Sì o no?
Decidere con una tabella onesta
Copiala, sostituisci le parti tra parentesi quadre e incollala nel tuo assistente. Esempio d'uso: Cambiare lavoro o restare con un aumento.
Devo scegliere tra [OPZIONE A] e [OPZIONE B]. Per me contano: [CRITERI]. Fammi una tabella con pro, contro e costi nascosti di ciascuna, poi fammi 3 domande che mi aiutino a capire cosa preferisco davvero. Non decidere al posto mio.
Consigli per chi ama questo dato
Scelti per questo post: c'entrano con le squadre e i giocatori di cui parliamo.
ADV · link affiliato Amazon: se acquisti guadagno una commissione, per te il prezzo non cambia. In qualità di Affiliato Amazon ricevo un guadagno dagli acquisti idonei.