KI-Halluzinationen stellen eine neue Bedrohung für die Software-Lieferkette dar
Für Entwickler und Unternehmen, die beim Programmieren auf künstliche Intelligenz setzen, ist eine neue, beunruhigende Entwicklung: Forscher haben eine neuartige Bedrohung für die Lieferkette entdeckt, die durch KI-Halluzinationen in Code-generierenden Modellen entsteht. Dieser neue Angriffsvektor, genannt „Slopsquatting “, könnte es böswilligen Akteuren ermöglichen, Software-Ökosysteme zu infiltrieren, indem sie fiktive Pakete ausnutzen, die von Large Language Models (LLMs) halluziniert wurden.
Die Gefahr liegt darin, dass LLMs oft Pakete „halluzinieren“ – sie suggerieren oder fügen Verweise auf Softwareabhängigkeiten ein, die schlichtweg nicht existieren. Eine gemeinsame Studie der University of Texas in San Antonio, der University of Oklahoma und der Virginia Tech ergab, dass keiner der 16 getesteten gängigen LLMs gegen dieses Phänomen immun war.
Inhaltsverzeichnis
Was ist Slopsquatting und wie funktioniert es?
Slopsquatting nutzt diesen Halluzinationsfehler und macht ihn zu einer Waffe. Wenn ein LLM während der Codegenerierung ein nicht vorhandenes Paket vorschlägt, können Cyberkriminelle schnell ein Schadpaket unter diesem Namen registrieren. Nach der Veröffentlichung kann jeder Entwickler, der den KI-generierten Code für bare Münze nimmt, das Schadpaket unwissentlich importieren und ausführen. Dies gefährdet nicht nur das einzelne Projekt, sondern kann sich auch über ganze Software-Lieferketten ausbreiten, wenn der infizierte Code wiederverwendet oder weitergegeben wird.
Die Studie ergab, dass von 2,23 Millionen in Python- und JavaScript-Testszenarien generierten Paketen fast 440.000 – also etwa 19,7 % – halluziniert waren. Davon handelte es sich bei sage und schreibe 205.474 um einzigartige fiktive Paketnamen. Die meisten halluzinierten Pakete – 81 % – waren für das jeweilige Modell, das sie generierte, einzigartig, was auf inkonsistentes Verhalten zwischen verschiedenen LLMs hindeutet.
Kommerzielle KI-Modelle halluzinierten in mindestens 5,2 % der Fälle Pakete, während Open-Source-Modelle mit einer Halluzinationsrate von 21,7 % deutlich schlechter abschnitten. Erschreckenderweise waren diese Fehler keine Einzelfälle. Über die Hälfte der halluzinierten Pakete (58 %) tauchten innerhalb von nur zehn Iterationen wiederholt auf, was eine klare Tendenz zur Persistenz zeigt.
Das steigende Risiko von KI-generiertem Code in der Softwareentwicklung
Während frühere Studien die Gefahr des Typosquattings – bei dem Angreifer falsch geschriebene oder irreführende Paketnamen ausnutzen – anerkannt haben, stellt dieser neue Slopsquatting-Angriff eine übersehene und potenziell weitaus gefährlichere Variante dar. Im Gegensatz zum Typosquatting, das auf menschlichen Fehlern aufbaut, nutzt Slopsquatting die wahrgenommene Autorität und Vertrauenswürdigkeit von KI-generiertem Code aus.
Am faszinierendsten – und zugleich beunruhigend – fanden die Forscher heraus, dass LLMs viele ihrer eigenen Halluzinationen erkennen konnten. Dies deutet auf ein ungenutztes Selbstregulierungspotenzial hin, das für zukünftige Sicherheitsmechanismen genutzt werden könnte. Es deutet auch auf die Möglichkeit hin, modellinterne Erkennungstools einzusetzen, um die Verbreitung fehlerhaften oder gefährlichen Codes zu verhindern.
Wie Entwickler sich vor Halluzinationen durch KI-Pakete schützen können
Um dieser Bedrohung entgegenzuwirken, schlagen die Forscher eine Reihe von Maßnahmen vor. Dazu gehören fortschrittliche Prompt-Engineering-Techniken wie Retrieval Augmented Generation (RAG), Prompt-Tuning und Selbstverfeinerung. Bei der Modellentwicklung könnten Strategien wie überwachtes Feintuning und verbesserte Dekodierungsalgorithmen dazu beitragen, die Halluzinationsrate zu senken.
Da generative KI die Softwareentwicklung weiter verändert, ist diese Studie eindringliche Mahnung, dass Komfort seinen Preis haben kann. Entwickler müssen KI-generiertem Code gegenüber wachsam und kritisch bleiben, insbesondere im Hinblick auf das Abhängigkeitsmanagement. Die Integration statischer Analysetools und manueller Überprüfungen vor der Installation empfohlener Pakete ist heute wichtiger denn je.
Die Bedrohungslandschaft entwickelt sich rasant, und wie diese Studie zeigt, müssen sich auch unsere Abwehrmaßnahmen ändern. Was einst wie Science-Fiction erschien – KI, die sich Software ausdenkt, die es gar nicht gibt – ist zu einem realen Cybersicherheitsproblem mit weitreichenden Folgen geworden.