Come effettuiamo i test — Classifica dei modelli di IA di Aikido
aikido/ricerca
← Torna alla classifica

Come effettuiamo i test

I benchmark sono validi tanto quanto la loro configurazione. Ecco come misuriamo se un modello è in grado di individuare vulnerabilità reali e quali sono i costi associati.

  1. 1

    Individua le vere vulnerabilità

    Estraiamo le CVE note dal database degli advisory di GitHub, coprendo moltissimi linguaggi e tipi di progetti.

  2. 2

    Individua il commit vulnerabile

    Ogni repository viene analizzato a partire dal commit immediatamente precedente alla correzione.

  3. 3

    Esecuzione nell'ambiente di produzione

    I modelli vengono eseguiti nello stesso ambiente AI che utilizziamo per Code Security Audit e Aikido Attack.

  4. 4

    Punta direttamente al frammento vulnerabile

    Poiché sappiamo esattamente dove si trova ogni vulnerabilità, gli agenti investigativi vengono indirizzati direttamente al codice vulnerabile. Un errore è dovuto al ragionamento e non a risorse sprecate a vagare nella parte sbagliata del repository. I prompt rimangono brevi e agnostici rispetto al modello.

  5. 5

    Esegui tre volte e unisci i risultati

    I modelli non sono deterministici. Eseguiamo ciascuno tre volte e consideriamo una CVE come rilevata se emerge in almeno un'esecuzione. L'aggregazione recupera i bug che una singola esecuzione potrebbe tralasciare ed è un reflecio più realistico di come spiegheresti questi agenti.

  6. 6

    Valuta copertura e costi insieme

    Registriamo quante CVE ciascun modello riscopre e il costo necessario per farlo, perché il modello più potente raramente è quello con il miglior rapporto qualità-prezzo. Confrontiamo anche i livelli di ragionamento laddove il fornitore li mette a disposizione.


Informazioni sulla configurazione dell'ambiente

Un ambiente di esecuzione è ciò che trasforma un modello linguistico in un revisore. Un assistente di codifica generico è progettato per un compito diverso, ovvero prendere un task e produrre codice funzionante. Se gli chiedi di analizzare un repository per verificare la sicurezza, si comporta come uno sviluppatore che dà una rapida occhiata in cerca di qualcosa di ovviamente rotto, fermandosi non appena trova qualcosa di plausibile. Code Security Audit di Aikido è strutturato diversamente. Esamina la codebase alla ricerca di potenziali punti d'ingresso, analizza in profondità ogni flusso sospetto e filtra i risultati per restituire solo le vere vulnerabilità.

Poiché sapevamo dove risiedeva ogni vulnerabilità, abbiamo indirizzato ogni agente investigativo dritto al frammento di codice vulnerabile. In questo modo, un eventuale errore riflette la capacità di ragionamento piuttosto che un budget sprecato a vagare nella sezione errata della codebase. Il modello deve comunque comprendere il flusso, giudicare la sfruttabilità e segnalarla correttamente. I prompt sono stati mantenuti brevi e agnostici rispetto al modello per evitare di avvantaggiare alcun fornitore tramite la formulazione.


Vuoi l'ambiente di esecuzione che li alimenta?

Lo stesso motore AI di Code Security Audit che stiamo valutando qui analizza la tua codebase alla ricerca di vulnerabilità multi-step prima del rilascio.

Scopri Code Security Audit ↗