Civilization VI se ha convertido nel banco di prova più curioso per capire fin dove possono spingersi gli agenti di intelligenza artificiale quando devono tenere il filo di una strategia per centinaia di decisioni. La saga di Sid Meier è nota da anni per quel famoso “ancora un turno e vado a dormire” che poi non finisce mai, e adesso proprio quella complessità serve a mettere alla prova modelli come GPT-5.4, Claude Opus 4.6, Gemini 3.1 Pro e Kimi K2.5. Ricercatori legati all’Università di Oxford, a Google DeepMind e all’UK AI Security Institute hanno creato CivBench, un benchmark che scaglia questi modelli contro l’IA integrata nel gioco. Su 23 partite valide sono arrivate solo tre vittorie, ma la parte davvero interessante non è quante ne hanno vinte, bensì il motivo per cui hanno perso.
Por qué Civilization VI es el terreno perfecto
Una partita standard di Civilization VI può superare i 300 turni e costringe a gestire economia, scienza, cultura, esercito, diplomazia ed espansione territoriale tutto insieme, con sei condizioni di vittoria diverse da tenere d’occhio. Insomma, esattamente quel tipo di gioco in cui un turno diventa cinquanta senza accorgersene. CivBench collega i modelli tramite 76 strumenti MCP con cui possono controllare lo stato della partita, muovere unità, gestire città, ricercare tecnologie o interagire con altri giocatori. Ogni turno può richiedere tra cinque e quindici chiamate, quindi una partita intera accumula migliaia di decisioni.
C’è però una differenza sostanziale rispetto a un giocatore in carne e ossa. I modelli non guardano lo schermo, ricevono informazioni strutturate attraverso una specie di narrazione, e buona parte dello stato globale del gioco compare solo se decidono di andarla a cercare. Una persona nota quasi di sfuggita che un rivale è pericolosamente vicino alla vittoria, l’agente invece deve ricordarsi di chiedere quel dato. Questo permette ai ricercatori di distinguere tra un modello che non aveva l’informazione e uno che l’aveva a portata di mano ma semplicemente non è andato a prenderla.
Sanno cosa fare, ma se lo dimenticano
I numeri complessivi vanno letti con prudenza. Delle 23 partite ammissibili, Claude Opus 4.6 ne ha vinte due su otto, Gemini 3.1 Pro una su sei, GPT-5.4 nessuna su otto e Kimi K2.5 ha perso la sua unica esecuzione esplorativa. Le tre vittorie sono arrivate tutte nello scenario base Ground Control ed erano di tipo tecnologico, mentre nessuno è riuscito a imporsi in Snowflake, pensato per premiare di più il combattimento. Gli stessi autori avvertono che il campione è troppo piccolo per costruire una classifica affidabile, e le differenze osservate non hanno raggiunto significatività statistica.
Link affiliatoMolto più rivelatore è capire cosa stessero “guardando” mentre giocavano. Il manuale comune consigliava di controllare l’avanzamento verso la vittoria ogni 20 turni circa, ma in pratica lo facevano solo ogni 30 o 75 turni. Le consultazioni di monitoraggio strategico rappresentavano tra lo 0,96% e il 2,13% delle chiamate rilevanti, e in sette delle venti sconfitte in cui era possibile accorgersi in anticipo che un rivale stava per vincere, l’agente non ha verificato quel dato negli ultimi 20 turni. Chi ha passato qualche ora su Civilization ci troverà una logica: sembra sempre esserci qualcosa di più urgente del punteggio, finché non arriva la schermata di sconfitta.
Il secondo grande problema è ancora più interessante. Gli agenti tenevano un diario strutturato dove fissavano obiettivi concreti, tipo fondare un’altra città o costruire un campus. Poi i ricercatori hanno controllato se quegli impegni diventavano azioni nei dieci turni successivi. Il risultato, chiamato Reflection–Action Gap, si è collocato tra il 48,2% e il 65,8% a seconda del modello, il che vuol dire che una parte notevole dei piani dichiarati dall’IA stessa non è mai stata messa in pratica.
La stessa tendenza compare nelle decisioni i cui benefici arrivano tardi. Il manuale indicava tre città entro il turno 50, ma nessun modello ci è arrivato in media: Claude Opus 4.6 e GPT-5.4 hanno toccato 2,83, Gemini 3.1 Pro 2,67 e Kimi K2.5 due. Il divario restava anche al turno 100. Per i ricercatori il segnale è compatibile con una maggiore attenzione verso azioni immediatamente visibili rispetto a quelle la cui ricompensa arriva molto più avanti, una debolezza pesante quando il successo dipende dal mantenere le priorità per centinaia di passi.
Questa è la parte di CivBench che va oltre il gioco. Lo studio non dimostra che questi modelli siano incapaci di capire una strategia o di elaborare piani sensati, anzi mostra che ci riescono. Il problema arriva nel mantenere una visione d’insieme, recuperare l’informazione giusta al momento giusto e trasformare le proprie intenzioni in azioni coerenti per periodi lunghi. Si parla comunque di uno studio pilota di sole 23 partite, con limiti importanti: ogni esecuzione può costare tra 29 e 213 euro circa in API e durare tra due e otto ore, quindi le conclusioni andranno riprodotte su scala maggiore. Per degli agenti che dovrebbero lavorare per ore su compiti sempre più complessi la lezione è chiara: sapere cosa fare non garantisce di ricordarsene cinquanta decisioni dopo. In Civilization, a quanto pare, dominare l'”ancora un turno” richiede anche ricordarsi cosa diavolo si stava cercando di ottenere all’inizio.
Link affiliatoFuente
Imagen: muycomputer.com