- AI Agents Are Getting Better at Writing Code—and Hacking It as Well
- One of the best bug-hunters in the world is an AI tool called Xbow, just one of many signs of the coming age of cybersecurity automation.
KI geht auf Fehlersuche
Will Knight, Senior Writer
Die neuesten Modelle künstlicher Intelligenz sind nicht nur bemerkenswert gut in der Softwaretechnik – neue Forschungsergebnisse zeigen, dass sie auch immer besser darin werden, Fehler in der Software zu finden.
KI-Forscher an der UC Berkeley testeten, wie gut die neuesten KI-Modelle und -Agenten Schwachstellen in 188 großen Open-Source-Codebasen finden konnten. Mithilfe eines neuen Benchmarks namens CyberGym, identifizierten die KI-Modelle 17 neue Fehler, darunter 15 bisher unbekannte oder „Zero-Day“-Fehler. „Viele dieser Schwachstellen sind kritisch“, sagt Dawn Song, Professorin an der UC Berkeley, die die Arbeit leitete.
Viele Experten erwarten, dass KI-Modelle zu gewaltigen Waffen im Bereich der Cybersicherheit werden. Ein KI-Tool des Start-ups Xbow hat sich derzeit in der HackerOne-Rangliste für die Fehlersuche nach oben gearbeitet und steht derzeit an erster Stelle. Das Unternehmen gab kürzlich eine neue Finanzierung in Höhe von 75 Millionen US-Dollar bekannt.
Song sagt, dass die Programmierfähigkeiten der neuesten KI-Modelle in Kombination mit verbesserten Denkfähigkeiten beginnen, die Cybersicherheitslandschaft zu verändern. „Dies ist ein entscheidender Moment“, sagt sie. „Es hat unsere allgemeinen Erwartungen tatsächlich übertroffen.“
Wenn sich die Modelle weiter verbessern, werden sie den Prozess des Entdeckens und Ausnutzens von Sicherheitslücken automatisieren. Dies könnte Unternehmen helfen, ihre Software sicher zu halten, aber auch Hackern helfen, in Systeme einzudringen. „Wir haben uns nicht einmal besonders angestrengt“, sagt Song. „Wenn wir das Budget erhöht und den Agenten erlaubt hätten, länger zu arbeiten, hätten sie es noch besser machen können.“
Das UC Berkeley-Team testete konventionelle Frontier-KI-Modelle von OpenAI, Google und Anthropic sowie Open-Source-Angebote von Meta, DeepSeek und Alibaba in Kombination mit mehreren Agenten zur Fehlersuche, darunter OpenHands, Cybench und EnIGMA.
Die Forscher verwendeten Beschreibungen bekannter Software-Schwachstellen aus den 188 Softwareprojekten. Anschließend speisten sie die Beschreibungen in die Cybersicherheitsagenten ein, die von Frontier-KI-Modellen betrieben werden, um zu sehen, ob sie dieselben Fehler selbst identifizieren konnten, indem sie neue Codebasen analysierten, Tests durchführten und Proof-of-Concept-Exploits erstellten. Das Team bat die Agenten auch, selbst nach neuen Schwachstellen in den Codebasen zu suchen.
Durch den Prozess generierten die KI-Tools Hunderte von Proof-of-Concept-Exploits, und von diesen Exploits identifizierten die Forscher 15 bisher ungesehene Schwachstellen und zwei Schwachstellen, die zuvor offengelegt und gepatcht worden waren. Die Arbeit trägt zu den wachsenden Beweisen dafür bei, dass KI die Entdeckung von Zero-Day-Schwachstellen automatisieren kann, die potenziell gefährlich (und wertvoll) sind, da sie eine Möglichkeit bieten, Live-Systeme zu hacken.
KI scheint dennoch dazu bestimmt zu sein, ein wichtiger Bestandteil der Cybersicherheitsindustrie zu werden.
Sicherheitsexperte Sean Heelan entdeckte kürzlich mit Hilfe des Denkmodells o3 von OpenAI eine Zero-Day-Schwachstelle im weit verbreiteten Linux-Kernel. Im vergangenen November gab Google bekannt, dass es mithilfe von KI über ein Programm namens Project Zero eine bisher unbekannte Software-Schwachstelle entdeckt habe.
Wie andere Teile der Softwareindustrie sind auch viele Cybersicherheitsfirmen von dem Potenzial der KI begeistert. Die neue Arbeit zeigt zwar, dass KI routinemäßig neue Fehler finden kann, hebt aber auch die verbleibenden Einschränkungen der Technologie hervor. Die KI-Systeme waren nicht in der Lage, die meisten Fehler zu finden, und waren an besonders komplexen Fehlern gescheitert.
„Die Arbeit ist fantastisch“, sagt Katie Moussouris, Gründerin und CEO von Luta Security, unter anderem, weil sie zeigt, dass KI immer noch keine menschliche Expertise ersetzen kann – die beste Kombination aus Modell und Agent (Claude und OpenHands) konnte nur etwa 2 Prozent der Schwachstellen finden. „Ersetzen Sie Ihre menschlichen Fehlerjäger noch nicht“, sagt Moussouris.
Moussouris sagt, dass sie sich weniger Sorgen über KI-Hacking-Software macht als über Unternehmen, die zu viel in KI investieren, auf Kosten anderer Techniken.
