- AI Agents Are Getting Better at Writing Code—and Hacking It as Well
- One of the best bug-hunters in the world is an AI tool called Xbow, just one of many signs of the coming age of cybersecurity automation.
AI 開始獵捕程式錯誤
Will Knight，資深撰稿人
最新的 AI 模型不僅在軟體工程方面表現出色，新的研究顯示它們在尋找軟體錯誤方面也越來越出色。
加州大學柏克萊分校的 AI 研究人員測試了最新的 AI 模型和代理在 188 個大型開源程式碼庫中尋找漏洞的能力。 使用名為 CyberGym的新基準，AI 模型識別出 17 個新的錯誤，其中包括 15 個以前未知的或「零日」錯誤。「這些漏洞中有許多是關鍵的，」領導這項工作的加州大學柏克萊分校教授 Dawn Song 說。
許多專家預計 AI 模型將成為強大的網路安全武器。 來自新創公司 Xbow 的 AI 工具目前在 HackerOne 的錯誤獵捕排行榜上名列前茅，目前位居榜首。 該公司最近宣布獲得 7500 萬美元的新資金。
Song 表示，最新的 AI 模型編碼技能與不斷提高的推理能力正在開始改變網路安全格局。「這是一個關鍵時刻，」她說。「它實際上超出了我們的普遍預期。」
隨著模型的持續改進，它們將自動化發現和利用安全漏洞的過程。 這可以幫助公司保持其軟體的安全，但也可能幫助駭客入侵系統。「我們甚至沒有那麼努力，」Song 說。「如果我們增加預算，讓代理運行更長時間，它們可以做得更好。」
加州大學柏克萊分校的團隊測試了來自 OpenAI、Google 和 Anthropic 的傳統前沿 AI 模型，以及來自 Meta、DeepSeek 和阿里巴巴的開源產品，並結合了幾個用於尋找錯誤的代理，包括 OpenHands、Cybench 和 EnIGMA。
研究人員使用了來自 188 個軟體專案的已知軟體漏洞的描述。 然後，他們將這些描述提供給由前沿 AI 模型提供支援的網路安全代理，看看它們是否可以通過分析新的程式碼庫、運行測試和設計概念驗證漏洞來自行識別相同的缺陷。 該團隊還要求代理自行搜尋程式碼庫中的新漏洞。
通過這個過程，AI 工具生成了數百個概念驗證漏洞，在這些漏洞中，研究人員識別出 15 個以前未見的漏洞和兩個以前已披露並修補的漏洞。 這項工作增加了 AI 可以自動發現零日漏洞的證據，這些漏洞可能很危險（且有價值），因為它們可能提供入侵即時系統的方法。
儘管如此，AI 似乎註定要成為網路安全產業的重要組成部分。
安全專家 Sean Heelan 最近在 OpenAI 的推理模型 o3 的幫助下，在廣泛使用的 Linux 核心中發現了一個零日漏洞。 去年 11 月，Google 宣布它使用 AI 通過名為 Project Zero 的程式發現了一個以前未知的軟體漏洞。
與其他軟體產業一樣，許多網路安全公司都對 AI 的潛力著迷。 這項新工作確實表明 AI 可以經常找到新的缺陷，但它也突出了該技術的局限性。 AI 系統無法找到大多數缺陷，並且對特別複雜的缺陷感到困惑。
「這項工作很棒，」Luta Security 的創始人兼首席執行官 Katie Moussouris 說，部分原因在於它表明 AI 仍然無法與人類的專業知識相提並論——模型和代理組合（Claude 和 OpenHands）中最好的只能找到大約 2% 的漏洞。「不要急著更換你的人工錯誤獵人，」Moussouris 說。
Moussouris 說，她不太擔心 AI 駭客入侵軟體，而是擔心公司投入太多 AI 而犧牲了其他技術。
