all open-source models we tested, ZAP, and Metasploit fail to find or exploit the vulnerabilities.
We emphasize that these vulnerability scanners cannot autonomously exploit vulnerabilities
and so are strictly weaker than our GPT-4 agent.
Sajnos többről van itt szó, mint a Metasploit tudása.
Azt kell itt látni, hogy minden mas modell vagy meglévő tool 0%-ot ért el az exploit megírásán, akar megkapta a CVE-ből részletes leírást, akar nem.
mar ez is zsenialis mernoki munka eredmenye
Nem, nem az. És pont ez a legrémisztőbb benne.
with every other method finding or exploiting zero of the vulnerabilities. These results suggest an “emergent capability” in GPT-4
Ez az ún emergens képesség, amit nem látsz előre jönni. Egyszerűen növelik a korábbi modell méretét és egyszercsak a 0%-ból felugrik 87%-ra a sikeressége. És az, hogy 7%-ot már magától megtalált, azt jelzi, hogy további modellnöveléssel ez utóbbi is drasztikusan javulni fog.
Ez bőven túl van azon, amit a GPT3.5 és vele ekvivalens kategóriájú modellek tudnak és ami alapján mondanak sokan olyan ítéletet, mint te is feljebb: "mikor CRUD API-t csinalsz, akkor a harmincadik ugyanolyan delete endpointot tok jol legeneralja egy uj entity-re az elozo 29 alapjan"