AIKIDO ARENA
Benchmark di modelli di IA per la cybersecurity
Scopri i migliori modelli per la sicurezza informatica. Valutiamo i modelli di frontiera testandoli sulle vulnerabilità di software reali. Aggiornato a ogni rilascio di nuovi modelli.
Changelog
12 novembre 2026
- Aggiunti i risultati relativi all'argon della missione Gemini 4
- È emerso che 28 vulnerabilità su 32 hanno superato il test pass@3, a pari merito con DeepSeek V4.1 Flash 1017 e una in meno rispetto a GPT-6 Astra.
- Un singolo calcolo ha dato una media dell'82,3%; combinandone tre si è arrivati all'87,5%.
- Ha raggiunto una precisione del 93%.
- A 59,59 dollari per ogni CVE individuato, costa meno della metà rispetto a GPT-6 Astra (135,23 dollari).
- Aggiunti i risultati di Gemini 3.8 Flash Cyber
- Ha rilevato che 25 vulnerabilità su 32 hanno superato il test pass@3, a pari merito con Xiaomi MiMo 2.6 Pro, GLM-5.3 e GPT-5.6 Sol.
- Un singolo calcolo ha dato una media del 65,6%; combinandone tre si è arrivati al 78,1%.
- Ha registrato una precisione dell'80,4%, la più bassa tra tutti i modelli presenti nella tabella.
- Con un costo di 37,14 dollari per ogni vulnerabilità (CVE) individuata, risulta più costoso rispetto a Xiaomi MiMo 2.6 Pro (11,79 dollari) e GLM-5.3 (19,65 dollari), che hanno individuato lo stesso numero di vulnerabilità.
- Muse Wonder 1.0, Kimi K3 e Qwen3.8 Max (versioni ritirate)
28 ottobre 2026
- GPT-5.6 Terra, Grok 4.6, DeepSeek V4 Pro 0813, DeepSeek V4 Flash 0731, GLM-5.3 Flash e Claude Haiku 5.5 (non più in uso)
27 ottobre 2026
- Aggiunti i risultati di DeepSeek V4.1 Flash 1017, che sostituiscono lo snapshot 0910
- Ha rilevato che 28 vulnerabilità su 32 hanno superato il test pass@3, raggiungendo lo stesso risultato di DeepSeek V4 Pro 0813 e posizionandosi una posizione dietro a GPT-6 Astra.
- Ha registrato una precisione dell'86,4%, in aumento rispetto al 78,9% dello snapshot 0910 e il valore più alto tra tutti i modelli DeepSeek presenti nella tabella.
- Un singolo calcolo ha dato una media del 70,8%; combinandone tre si è arrivati all'87,5%.
- Con 2,40 dollari per ogni CVE individuato, è alla pari con Claude Haiku 5.5 e viene superato solo da GPT-6 Luna (2,01 dollari).
- Aggiunti i risultati del test Flash di MiniMax M3.1
- Ha rilevato 24 vulnerabilità su 32 al livello 3, rispetto alle 28 su 32 di DeepSeek V4.1 Flash 1017.
- Un singolo ciclo ha raggiunto una media del 59,4%, contro il 70,8% di DeepSeek V4.1 Flash 1017; combinandone tre si è arrivati al 75%.
- Ha registrato una precisione dell'80,5%, il che significa un tasso di falsi positivi superiore di circa il 40% rispetto a quello di DeepSeek V4.1 Flash 1017.
- A 4,20 dollari per ogni CVE individuata, il costo è nettamente superiore a quello di DeepSeek V4.1 Flash 1017 (2,40 dollari).
- In tutte e tre le esecuzioni ha individuato un bug di deserializzazione in spring-kafka, che Opus 5 e Qwen 3.8 Max non hanno rilevato in nessuna delle tre occasioni.
- Nelle tracce, il sistema confronta i permessi tra endpoint adiacenti e verifica quali diritti di accesso un malintenzionato dovrebbe già possedere, in modo da eliminare le informazioni superflue dai propri report.
- Può anche rimanere bloccato in cicli di ragionamento; un’analisi ha prodotto oltre 1 milione di caratteri di ragionamento.
- Regge abbastanza bene, ma rispetto alle alternative odierne non lo consiglieremmo per attività di sicurezza informatica.
- DeepSeek V4.1 Flash (0910) fuori produzione
13 ottobre 2026
- Aggiunti i risultati di Muse Wonder 1.0
- Ha rilevato che 26 delle 32 vulnerabilità hanno superato il test pass@3, lo stesso numero di Opus 5 e Grok 4.6.
- Una singola esecuzione ha rilevato in media il 57,3%; combinandone tre, la percentuale è salita all'81,3%. Solo 12 CVE sono stati individuati in tutte e tre le esecuzioni, quindi il risultato migliore si ottiene eseguendo il programma tre volte.
- Ha registrato una precisione dell'80,8%, superando solo i modelli DeepSeek presenti nella classifica. Le analisi meno accurate partivano dal presupposto che un aggressore potesse raggiungere la vulnerabilità, oppure che il codice a valle ne facesse un uso improprio, senza verificare nessuna delle due ipotesi.
- Scarta le ipotesi che non reggono. In una traccia ha sospettato la mancanza di un controllo di proprietà, ha seguito ogni chiamante, ha scoperto che ognuno di essi era protetto e ha desistito dopo 27 tentativi.
- Con un costo di 71,75 dollari per ogni CVE individuato, risulta più costoso di Opus 5 (64,96 dollari). Solo il 41,3% dei dati in ingresso proveniva dalla cache, rispetto al 79,5% e al 91,1% registrati dai modelli GPT e Haiku che abbiamo verificato; di conseguenza, un numero molto maggiore di token viene addebitato a prezzo pieno.
8 ottobre 2026
- Aggiunti i risultati di Claude Haiku 5.5
- Ha individuato 17 vulnerabilità su 32 al livello pass@3, eguagliando GPT-6 Luna. Tutti i CVE individuati da Opus 5 sono stati rilevati anche da Opus 5.
- Ha raggiunto una precisione del 94%, superiore all'87% di Opus 5.
- Una singola esecuzione ha raggiunto una media del 36,5%; combinandone tre, si è arrivati al 53,1%. Solo 6 CVE sono emersi in tutte e tre le esecuzioni, il numero più basso tra tutti i modelli presenti nella classifica; pertanto, per Haiku le esecuzioni aggiuntive danno risultati migliori rispetto a qualsiasi altro modello che abbiamo testato.
- Con un costo di 2,40 dollari per ogni CVE individuato, è il terzo modello più economico della classifica, dopo GPT-6 Luna e DeepSeek V4.1 Flash. Opus 5 costa 64,96 dollari per ogni CVE individuato.
2 ottobre 2026
- Aggiunti i risultati di Xiaomi MiMo 2.6 Pro
- Ha rilevato 25/32 vulnerabilità pass@3, eguagliando GPT-6.1 Sol, Kimi K3 e GLM 5.3 e posizionandosi a una sola lunghezza da Opus 5
- Ha ottenuto l'88% di precisione, superando tutti i modelli Qwen e DeepSeek
- Una singola esecuzione ha raggiunto in media il 64,6%; combinandone tre si è arrivati al 78,1%
- Il tutto a soli 11,79 $ per CVE rilevata
29 settembre 2026
- Aggiunti i risultati di Grok 4.7
- La versione 4.7 ha rilevato 3 vulnerabilità che la 4.6 aveva ignorato in tutte le esecuzioni, mentre la 4.6 ne ha trovate 2 sfuggite alla 4.7. Il compromesso riguarda la ripetibilità: la 4.7 ne ha trovate 18 su 32 in tutte e tre le esecuzioni, contro le 21 su 32 della 4.6. Maggiore copertura a scapito di una minore coerenza.
- Aggiunti i risultati di GPT-6 Luna e GPT-6 Sol
- Abbiamo testato GPT-6 Luna e Sol sul nostro benchmark informatico di 32 CVE e i risultati sono stati inattesi! Luna ha riscoperto il 53,1%, mentre Sol ha raggiunto il 68,8%.
- Nessuna delle due ha superato le varianti di GPT-5.6 in termini di richiamo (recall). Tuttavia, entrambe sono diventate MOLTO più economiche per vulnerabilità trovata: Luna è passata da 3,43 $ a 2,01 $/CVE e Sol da 56,88 $ a 34,18 $/CVE.
11 settembre 2026
- Aggiunti i risultati di GPT-6 Astra e GLM-5.3 Flash.
Un modello potente è solo l'inizio.
L'infrastruttura di Aikido trasforma il ragionamento in risultati di sicurezza di alta qualità in tutta la tua applicazione, che si tratti di Code Security Audit che analizza il codice sorgente o di Aikido Attack che testa l'app in esecuzione.
Contributori
Inizia a proteggere il tuo codice oggi,
in modo semplice e gratuito.
Proteggi codice, cloud e runtime da un'unica piattaforma centrale. Collega un repository per scoprire cosa trovano gli agenti di ragionamento nella tua codebase.
Nessuna carta di credito richiesta | Risultati della scansione in 32 secondi.
Scelto da oltre 150 mila organizzazioni




