Google DeepMind revolutioniert KI-Sicherheit mit neuem Framework gegen Prompt-Injection
Roger Adolph
Google DeepMind revolutioniert KI-Sicherheit mit neuem Framework gegen Prompt-Injection
Google DeepMind stellt neues Sicherheitsframework CaMeL vor, um Prompt-Injection-Angriffe auf KI-Systeme zu bekämpfen
Seit Chatbots 2022 weit verbreitet sind, stellen sogenannte Prompt-Injection-Angriffe ein großes Risiko dar. Mit dem neuen Framework CaMeL (Context-Aware Model Execution Layer) will Google DeepMind digitale Assistenten sicherer machen – indem Sprachmodelle als nicht vertrauenswürdige Komponenten in einer kontrollierten Umgebung behandelt werden.
Cashback bei deinen
Lieblingsrestaurants und Services
Kaufe Gutscheine und spare in deinen Lieblingsorten in deiner Nähe
Zwei KI-Modelle, ein Sicherheitskonzept CaMeL funktioniert, indem es Aufgaben zwischen zwei KI-Modellen aufteilt: einem „privilegierten Sprachmodell“ und einem „isolierten Sprachmodell“. Das isolierte Modell wandelt zunächst unstrukturierte Nutzeranfragen in klare, strukturierte Anweisungen um. Anschließend generiert das privilegierte Modell auf Basis dieser bereinigten Daten Code – schädliche Inhalte werden so bereits vor der Ausführung herausgefiltert.
Der gesamte Prozess läuft in einem abgesicherten Interpreter ab, der den Datenfluss in jeder Phase streng überwacht. Diese Architektur verhindert, dass sensible Informationen an unbefugte Stellen gelangen, und schützt sowohl vor externen Angriffen als auch vor internen Bedrohungen. Tests mit dem AgentDojo-Benchmark zeigten, dass CaMeL hohe Funktionalität bewahrt und gleichzeitig Prompt-Injection-Versuche abwehrt, die bisher als unlösbar galten.
Fortschritt, aber keine vollständige Lösung Trotz seiner Stärken ist CaMeL kein Allheilmittel: Nutzer müssen weiterhin eigene Sicherheitsrichtlinien definieren und regelmäßig aktualisieren, um den Schutz aufrechtzuerhalten. Dennoch markiert der Ansatz mit zwei getrennten Modellen einen wichtigen Schritt hin zu zuverlässigeren KI-Assistenten.
Das Framework beweist, dass sich Sicherheit in KI-Systemen verbessern lässt, ohne Leistungseinbußen in Kauf nehmen zu müssen. Durch die effektive Blockade von Datenabflüssen und die Abwehr ausgefeilter Angriffe adressiert CaMeL lang bekannte Schwachstellen. Damit rückt die Vision wirklich sicherer, universell einsetzbarer digitaler Assistenten ein Stück näher.
