koya979 - Fotolia

Einen Notfallplan für Machine-Learning-Systeme entwickeln

Damit Machine Learning gut funktioniert, müssen Probleme von Anfang an berücksichtigt werden. Wir zeigen Schwachstellen und Gegenmaßnahmen.

Machine-Learning-Modelle können scheitern, ein Grund dafür sind die potentiellen Schwachstellen, die in diesen Systemen enthalten sind. Hier sind vielfältige Bedrohungsszenarien möglich. So könnte es Hackern gelingen, ein Modell für die Gesundheitsvorsorge im Medizinbereich zu sperren und es so für legitime Nutzer nicht mehr zugänglich machen. Durch das Einspeisen von zusätzlichem Code könnten Angreifer zudem für fehlerhafte Ergebnisse sorgen.

Kein Anwender von Machine Learning möchte in seiner Arbeit durch einen Fehler unterbrochen werden. Um die Nutzerzufriedenheit zu gewährleisten, sollten Unternehmen einen Plan B haben, bei dem den primären Machine-Learning-Modell ein Standby-Modell zugeordnet wird. Wenn ein Fehler auftritt, kann das System automatisch auf dieses umschalten, idealerweise ohne dass der Nutzer etwas davon merkt.

Es gibt drei Hauptursachen für Probleme bei Machine Learning: Fehler im Algorithmus, Fehler in der Netzwerkkonfiguration und wenn die Modelle problematischen Bedingungen ausgesetzt werden. Das können etwa auch Attacken von außen sein.

Fehler im Algorithmus

Ein überwachtes Machine-Learning-Modell nutzt bekannte Daten für den Input – das können etwa Daten über Patienten mit Herzattacken sein – und ein bekanntes Set für die auszugebenden Daten – etwa die Reaktionen dieser Patienten. Ein Algorithmus für so ein Modell kann allerdings Logikfehler enthalten. Das Ergebnis ist, dass das Modell nach dem Training neue Daten falsch voraussagt. Im Beispiel könnte es etwa nicht erkennen, dass ein Patient mit bestimmten Symptomen innerhalb einer bestimmten Zeit eine Attacke erleiden könnte.

Es ist zudem wahrscheinlich, dass der Algorithmus keine Routine enthält, die solche Fehler abfängt. Nicht erkannte Fehler sorgen dafür, dass das Modell sehr langsam läuft, zu viel Speicher benötigt und am Ende sogar herunterfährt, weil es zu viele Ressourcen konsumiert.

Ein nicht überwachter Lernalgorithmus kann andererseits Fehler in Mustern enthalten, bei denen Datenpunkte falsch verknüpft oder in falsche Beziehungen gestellt werden. Auch das sorgt für fehlerhafte Kategorisierung von Ähnlichkeiten. Beispielsweise kann der Algorithmus nicht richtig zwischen Äpfeln, Birnen und Weintrauben unterscheiden, weil einige Äpfel in die Kategorie Weintrauben fallen.

Fehler in der Netzwerkkonfiguration

Einige Machine-Learning-Modelle setzen auf Netzwerke. Fehlerhaft konfigurierte Netzwerke können für Probleme in der Cloud und dem Rechenzentrum sorgen. Ein Problem ist vor allem, wenn ein Cloud-Ausfall gleichzeitig in allen Netzwerkregionen des Unternehmens auftritt. Dann ist eine Übergabe auf das Standby-Modell nicht möglich. Wenn das Unternehmen zuvor nicht definiert hat, welche Netzwerkregion für das Standby-Modell in einem Failover-Fall reserviert ist, kann das für Datenverlust sorgen, wenn das Primärmodell nicht mehr reagiert.

Ein anderes Problem ist ein fehlerhaft konfigurierter SDN-Controller. Hacker können auf Probleme im Controller zielen und versuchen, diesen umzuprogrammieren, damit das Netzwerk bösartige Programmpakete akzeptiert und legitime Pakete verwirft. Der Einsatz von Machine Learning, um SDN-Netzwerke intelligenter zu machen und extra abzusichern, garantiert nicht, dass im Netzwerk keine neuen Schwachstellen eingebracht werden.

Bösartige Umgebungsbedingungen

Wird eine Machine Learning Modell nicht korrekt abgesichert, kann es bösartigen Angriffen ausgesetzt sein. Ein Angreifer kann Trainingsdaten verunreinigen und bösartigen Code einschleusen, der das Modell falsch reagieren lässt. Eine Möglichkeit, um einen etwaigen Spamfilter zu umgehen, ist etwa, dass verdächtige Wörter absichtlich falsch geschrieben werden. Sind die Filter nicht ausreichend für so ein Problem trainiert, können Angreife Abwehrmechanismen im Zweifel umgehen.

Eine andere Methode von Angreifern ist das Imitieren eines legitimen Nutzers. Das Ziel ist der Zugriff auf das Modell und das komplette System. Ist der Angreifer erfolgreich, können legitime Nutzer ausgeschlossen und falsche Eingaben ins Modell übertragen werden.

Falsche Risikoplanung

Algorithmische Fehler, falsch konfigurierte Netzwerke und bösartige Angriffe sind ein Indikator dafür, dass die Risikoabschätzung für ein Machine-Learning-Modell nicht richtig implementiert wurde. Veraltete Software kann solche Probleme verursachen, ebenso können Fehler im Netzwerk oder in anderen Bereichen für Unstimmigkeiten der Machine-Learning-Plattform sorgen. So kann es beispielsweise vorkommen, dass Daten- und Sicherheits-Logs nicht verschlüsselt gespeichert werden.

Wenn DevOps nicht auf den Lebenszyklus des Modells angewandt werden, kann dies ebenfalls problematisch sein und zu Risiken führen. Netzwerk-Administratoren und die Entwickler oder Administratoren von Machine-Learning-Plattformen arbeiten möglicherweise nicht eng genug zusammen oder können nicht ganz erfassen, wie sich das Verhalten des Modells verändert, wenn es in die Cloud übertragen wird. Neue Techniken oder Schwachstellen können übersehen werden. Wenn das Feedback der Nutzer nicht in die Pläne einbezogen wird, kann das ebenfalls ein Problem darstellen.

Entwickeln eines Machine-Learning-Notfallplans

Das Ziel eines Notfallplans muss sein, dass ein Nutzer ein Machine-Learning-Modell für Vorhersagen ohne Probleme nutzen kann. Der Nutzer muss dabei nicht wissen, was im Netzwerk eigentlich geschieht. Wenn das primäre Modell fehlschlägt, muss das Failover-System im Hintergrund aktiv werden und die Arbeit nahtlos übernehmen. Die gesamten Daten müssen ins Standby-System und ein funktionales Netzwerk übertragen werden. Die Nutzer sollten idealerweise nichts davon mitbekommen, außer wenn sie vom System selbst alarmiert werden.

Der Plan sollte beinhalten, dass das Unternehmen die primären und sekundären Modelle in getrennten Netzwerkregionen betreibt. Das Unternehmen sollte sicherstellen, dass ein Ersatznetzwerk verfügbar ist, wenn das primäre System ausfällt. Es ist sinnvoll, den Plan in drei Bereiche aufzuteilen.

Den Anfang machen Standards: Um Probleme mit dem Algorithmus oder dem Netzwerk zu entdecken, sollten die üblichen Methoden angewandt werden. Dies gilt auch fürs Aufspüren potentieller Attacken oder anderer Schwachstellen. Der nächste Teil des Plans sollte die Gegenmaßnahmen enthalten, mit denen Angreifern ein Zugriff möglichst schwer gestaltet werden kann. Der dritte Teil sollte Szenarien für den Notfallplan für verschiedene Industrien enthalten.

Folgen Sie SearchSecurity.de auch auf Twitter, Google+, Xing und Facebook!

Erfahren Sie mehr über Bedrohungen

- GOOGLE-ANZEIGEN

ComputerWeekly.de

Close