DIgilife - stock.adobe.com
Die Bedrohung durch Slopsquatting: Wenn KI halluziniert
KI-Codierungsassistenten sind eine ganz treffliche Unterstützung für Entwickler. Allerdings halluzinieren sie dabei gar nicht so selten und das machen sich Angreifer zunutze.
KI-gestützte Programmierassistenten, wie GitHubs Copilot, Cursor AI und ChatGPT, haben sich rasch von interessanten Gadgets zu unverzichtbaren Helfern entwickelt. Eine aktuelle Umfrage von Stack Overflow ergab, dass über 76 Prozent der Entwickler mittlerweile auf diese Assistenten setzen und mehr als 80 Prozent von einer deutlichen Produktivitätssteigerung durch den Einsatz von KI-Code-Generatoren und erweiterten Code-Editoren berichten.
Diese virtuellen Team-Kollegen vereinfachen komplexe Aufgaben, optimieren Entwicklungsabläufe und beschleunigen Projektzeitpläne erheblich.
Die Risiken der KI-Assistenten
Jedoch birgt jede Innovation auch neue Risiken. KI-Codierungsassistenten generieren gelegentlich sogenannte Halluzinationen, also überzeugende Empfehlungen für Software-Pakete, die nicht existieren. Eine aktuelle Studie von Forschern der University of Texas in San Antonio, der University of Oklahoma und der Virginia Tech (alle USA) ergab, dass Open-Source-LLMs im Vergleich zu kommerziellen Modellen mit durchschnittlich etwa 5,2 Prozent alarmierend hohe Raten an halluzinierten Pakete-Empfehlungen generierten – im Mittel etwa 21,7 Prozent. Die Forscher dokumentierten allein in dieser einen Studie über 200.000 einzigartige halluzinierte Paketnamen, was verdeutlicht, wie weit verbreitet und gefährlich dieses Problem tatsächlich ist – und: Es handelt sich nicht um offensichtliche Fehler, denn sie ähneln oft echten Paketen sehr und täuschen sogar erfahrene Entwickler.
Darüber hinaus weisen diese Halluzinationen eine bemerkenswerte, sprachübergreifende Dimension auf. Sicherheitsforscher fanden heraus, dass Python-spezifische Code-Generierungsmodelle häufig JavaScript-Pakete halluzinierten – ein beunruhigendes Szenario angesichts der potenziellen Verwirrung und Risiken, die dies in Software-Ökosystemen mit sich bringen könnte.
Angreifer nutzen die Schwachstellen aus
Hacker haben diese Schwachstelle schnell erkannt und eine neue Form des Supply-Chain-Angriffs namens Slopsquatting eingeführt. Im Gegensatz zum herkömmlichen Typosquatting, das Tippfehler von Menschen ausnutzt, macht sich Slopsquatting diese KI-Halluzinationen zunutze. Angreifer überwachen die von der KI vorgeschlagenen Paketnamen und registrieren diese imaginären Abhängigkeiten schnell in beliebten Repositories, wie npm oder PyPI. Wenn Entwickler den Empfehlungen der KI vertrauen und diese Pakete installieren, bringen sie unbeabsichtigt bösartigen Code in ihre Umgebungen ein.
Ein Beispiel ist der Vorfall huggingface-cli von Ende 2023. Nachdem ein Sicherheitsforscher bemerkt hatte, dass eine KI wiederholt ein nicht existierendes Paket vorschlug, registrierte er es auf PyPI als harmlosen Test. Innerhalb weniger Tage übernahmen Tausende von Entwicklern, darunter Teams von Alibaba, dieses fiktive Paket unwissentlich in ihre kritischen Projekte. Der Vorfall war zwar am Ende harmlos, zeigte jedoch, wie schnell und einfach Cyberkriminelle die KI-generierten Schwachstellen ausnutzen können.
Stellt man sich nun ein Szenario vor, worin Angreifer diese Taktik in größerem, böswilligerem Umfang einsetzen, dann wird das mögliche Ausmaß bewusst. Eine einzige, weit verbreitete Empfehlung könnte schnell Systeme auf der ganzen Welt kompromittieren und zu schwerwiegenden Datenlecks, dauerhaft verfügbaren Hintertüren oder anderen massiven Störungen führen. Die automatisierte Natur des Managements von Abhängigkeiten in modernen CI/CD-Pipelines verstärkt diese Bedrohung, da schädlicher Code schnell von Entwicklungsumgebungen in Produktionssysteme ausgebracht werden kann.
Wie kann man Slopsquatting entgegenwirken?
Herkömmliche Sicherheitsmaßnahmen sind diesen neuen Bedrohungen oft nicht gewachsen, da viele Scanner auf historischen Reputationsdaten basieren und neu registrierte bösartige Pakete nicht erkennen. Dies unterstreicht die dringende Notwendigkeit innovativer, präventiver Strategien, die speziell auf die Erkennung und Minderung von KI-gesteuerten Schwachstellen zugeschnitten sind.
Entwicklungs- und Sicherheitsabteilungen müssen daher strenge Praktiken anwenden, um Slopsquatting wirksam entgegenzuwirken. Sie sollten KI-generierte Vorschläge zunächst mit Skepsis behandeln und niemals den vorgeschlagenen Abhängigkeiten blind vertrauen. Es braucht strenge Verifizierungsprozesse, die manuelle Prüfung unbekannter Paketnamen und die konsequente Verwendung von Lockfiles, festgelegten Versionen und kryptografischen Hash-Verifizierungen. Darüber hinaus kann die Pflege interner Spiegel oder von Allowlists mit vertrauenswürdigen Paketen das Risiko infolge schädlicher Neuzugänge drastisch reduzieren.
„Durch die Förderung einer Unternehmenskultur, in der unbekannte oder halluzinierte KI-Empfehlungen hinterfragt werden, können Teams die allgemeine Cybersicherheit erheblich verbessern. Sich blind auf die Empfehlungen von künstlicher Intelligenz zu verlassen, ist immer eine schlechte Idee.“
Thomas Boele, Check Point Software Technologies
Die Sicherheitsforscher der Universitäten testeten zudem mehrere Ansätze zur Reduzierung von Halluzinationen, insbesondere die Retrieval Augmented Generation (RAG) und die überwachte Feinabstimmung. Diese Techniken reduzierten zwar das Auftreten von Halluzinationen stark (um bis zu 85 Prozent), führten jedoch zu einem kritischen Kompromiss, da sie sich negativ auf die Gesamtqualität des Codes auswirkten. Dies verdeutlicht also die Notwendigkeit umfassender Sicherheitslösungen, die in der Lage sind, dergleichen Bedrohungen präventiv zu identifizieren, ohne die Entwicklungseffizienz zu beeinträchtigen.
Auch Aufklärung und Sensibilisierung spielen eine entscheidende Rolle. Klare Richtlinien sollten eine verstärkte Prüfung und gegenseitige Begutachtung aller durch KI generierter Abhängigkeiten vorschreiben.
Fazit
Durch die Förderung einer Unternehmenskultur, in der unbekannte oder halluzinierte KI-Empfehlungen hinterfragt werden, können Teams die allgemeine Cybersicherheit erheblich verbessern. Sich blind auf die Empfehlungen von künstlicher Intelligenz zu verlassen, ist immer eine schlechte Idee. Es braucht ein Bewusstsein dafür, dass KI tatsächlich in der Lage ist, bei der Anwendung in der Code-Entwicklung zu halluzinieren und falsche Ergebnisse zu liefern.
Da sich durch die bislang möglichen Gegenmittel aber eine Minderung der Code-Qualität ergeben hat, bleibt die präferierte Strategie, eine präventive Cyber-Sicherheitsabwehr zu schaffen, um dergleichen Bedrohungen, sollten diese Halluzinationen von Hackern missbraucht werden, bekämpfen zu können. KI soll schließlich die Entwicklung erleichtern, nicht noch zusätzliche Sicherheitslücken und Angriffsvektoren während der Entwicklungsarbeit eröffnen.
Die Autoren sind für den Inhalt und die Richtigkeit ihrer Beiträge selbst verantwortlich. Die dargelegten Meinungen geben die Ansichten der Autoren wieder.
