Künstliche Intelligenz lässt sich mit Befehlen manipulieren, die vom Mneschen kaum registriert werden können.
Foto: sittinan - stock.adobe.com

IT-Sicherheit

Wie Schadsoftware Künstliche Intelligenz manipuliert

Eine Sudie zeigt, dass KI-Systeme durch Schadsoftware gezielt angegriffen werden können. Für den Einsatz in der Sicherheitstechnik wirft das Fragen auf.

Künstliche Intelligenz, neuronale Netze und Deep Learning sind nach Jahrzehnten der Ruhe erneut zu zentralen Modethemen der IT geworden. Enorme Geldsummen wurden und werden investiert. Auch und gerade im Bereich der Sicherheitstechnik soll die KI den Menschen entlasten und gleichzeitig kritische Systeme gegen Angriffe absichern. Doch KI kann auch selbst Ziel von Angriffen werden. Der 16. IT Sicherheitskongress des BSI in Bonn-Bad Godesberg rückte das Thema prominent in den Fokus. BSI Chef Arne Schönbohm und Guillaume Poupard, Generaldirektor des Schwesterinstitutes ANSSI stellten fest: es gibt ein Problem. Beide stellten die Deutsch-Französische Sicherheitsstudie „Common Situational Picture“ vor, die sich ausführlich mit dem Problem beschäftigt.

Zentrum zur Erforschung robuster KI

Fast zeitgleich gründeten IBM und das Münchner Forschungscluster Fortiss ein Zentrum zur Erforschung robuster KI. Die wichtigsten Forschungsarbeiten stammen aber weder aus Frankreich noch aus Deutschland, sondern aus den USA. Hier beschäftigt man sich bereits seit mehr als vier Jahren intensiv mit Risiken und Sicherheitsproblemen der KI. Mit wenigen Eingriffen verwandelt sich ein Verkehrszeichen in sein Gegenteil. Aus einem „STOP“-Schild an der Kreuzung wird durch wenige, eher unverdächtig aussehende Aufkleber ein Verkehrsschild, das 100 Meilen pro Stunde als Höchstgeschwindigkeit erlaubt. Ein enormes Risiko für selbstfahrende Autos. Entsprechende Bilder wurden auf dem IT-Sicherheitskongress des BSI in Bonn-Bad Godesberg gezeigt.

Manipulation von Siri, Alexa und Co durch Störgeräusche

Schon 2017 hatten US-Forscher herausgefunden, wie leicht sich Sprachassistenten manipulieren lassen. Siri, Alexa & Co. werden laut einer Studie der Postbank heute von 32 Prozent der Deutschen genutzt. Doch mit trickreich erzeugten Störgeräuschen lassen sich diese Assistenten düpieren, wie Forscher der amerikanischen Universitäten Berkeley und Georgetown herausfanden. Sie analysierten die Sprachanalyse-Software und versuchten sie auszutricksen. Sie fragten sich: Welchen Input brauchen diese Algorithmen, um einen beliebigen Output zu erzeugen? Es gelang ihnen, für den Nutzer fast unhörbare Befehle abzusetzen, und so mit Schadcode infizierte Webseiten aufzurufen, oder gezielt Fehlfunktionen in angeschlossenen Geräten hervorzurufen.

Einzige Voraussetzung für den Angriff ist ein für die Mikrofone des Computers gut hörbares Audiosignal, möglichst ohne Echo und störende Geräusche. Die unerwünschten Befehle könnten also über Radio, Fernsehen oder Lautsprecheranlagen übermittelt werden, ebenso eignen sich Freisprechanlagen von Handys. Auch in Tonträger könnte man sie einarbeiten, quasi als ungebetene Zugabe zur Musik. Zu erkennen sind die Befehle nur schwer. Was für menschliche Ohren wie zufällige Störgeräusche klingt, wertet ein KI-System als klare Anweisung etwas zu tun. Die Studie weist darauf hin, dass diese Befehle sogar vollständig unhörbar sein können, wenn Frequenzen oberhalb der menschlichen Wahrnehmbarkeitsgrenze von 20 Kilohertz verwendet werden.

Foto: Bernd Schöne
Datenschutz und Cybersicherheit bedingen einander. BSI Chef Schönbohm (links) und der Bundesdatenschutzbeauftragte Ulrich Kelber.

Kenntnis der Algorithmen als Manipulationsansatz

Möglich macht dies die exakte Kenntnis der verwendeten Algorithmen. Das gilt nicht nur für Sprachbefehle, sondern ähnlich ebenfalls für die Videoanalyse mit Künstlicher Intelligenz. Auch hier sind es nur wenigen Eckwerte, die das Neuronale Netz zur Auswertung verwendet. Wer weiß, wie der Rechner „denkt“, kann das System manipulieren. Ein Mensch mit einer Zeitung in der Hand wird durch geringe Eingriffe in das Bild als Hund erkannt, ohne dass dem ungeschulten Betrachter die Manipulationen auffallen würden. Im Mai 2019 wurde dieses Experiment auf dem 16. IT-Sicherheitskongress des BSI in Bonn-Bad Godesberg live demonstriert. Der Referent startete dazu ein Angriffsprogramm, das einige wenige Bildpunkte verändert. Wie genau der Trick funktioniert, verrieten die Mathematiker des Berliner Startups Neurocat nicht.

Studie beleuchtet Entwicklungen rund um die Künstliche Intelligenz

Das BSI stellte während der Veranstaltung die zweite Ausgabe des gemeinsamen deutsch-französischen Cyber-Sicherheitslagebilds vor. Die 13 Seiten starke Studie beleuchtet unter anderem Entwicklungen rund um die Künstliche Intelligenz (KI). „KI-Systeme sind anfällig für manipulative Angriffe. Dies sind zum Beispiel menschlich nicht wahrnehmbare Manipulationen legitimer Eingabedaten, die künstlich generiert wurden”, warnen die beiden Sicherheitsbehörden. Die Studie weist in diesem Zusammenhang auf eine Arbeit von US-Wissenschaftlern hin. Ein simpler Trick verwandelt einen Pandabären für ein KI-System in einen Affen. US-Forscher legten dazu ein Netz aus „manipuliertem Rauschen“ über das Foto des Pandabären. Während das menschliche Auge keinen Unterschied erkennt, meldet das Neuronale Netzwerk nun statt eines Pandabären einen Gibbon, und das, obwohl das Netz den Bären zuvor sicher erkannt hatte. Im Internet kursiert zudem ein Video von einer Schildkröte aus Plastik, sie wird zunächst als Schildkröte erkannt. Dann ändern die Forscher an einigen Stellen die Textur. Das Neuronale Netz erkennt die Schildkröte nun eindeutig als Gewehr. „Absichtlich gestörte Bilder wirken auf das Eingabespektrum des neuronalen Netzwerks, was zu einer Fehlklassifizierung des Inhalts führt”, so die Experten in der BSI-ANSSI Studie.

Maschinelles Lernen seit Jahrzehnten im Einsatz

Diese Forschungsergebnisse sind nur auf den ersten Blick überraschend. Die Künstliche Intelligenz war nie eine simple Lösung für alle Probleme, auch wenn das Marketing amerikanischer Konzerne sie gerne so verkauft. So wird bereits seit mehr als 15 Jahren maschinelles Lernen zur Bekämpfung von Spam-Mails verwendet. E-Mail-Provider schützen ihre Kunden so vor unerwünschten und gefährlichen E-Mails. Nach anfänglich großen Erfolgen begannen die Sender die Mechanismen zu analysieren und lernten, das maschinelle Lernen teilweise auszuhebeln. So ersetzten sie Schlagworte wie „VIAGRA“ durch ähnlich geschriebene Begriffe wie „V1AGRA“. Menschen lesen über kleine Fehler hinweg, während Computer sich täuschen lassen. Um die Filter weiter betreiben zu können, waren bis heute permanente „Nachschulungen” des maschinellen Lernens nötig, und dies dürfte sich nicht ändern. Der Anwender verfügt mit der KI über einen Dienst, der über keine definierten Eigenschaften verfügt, weil er sich ständig ändert.

KI als Blackbox für Betreiber

Darüberhinaus ist das Ergebnis eine komplexe „Blackbox”, deren Funktionalität der Betreiber nur schwer einschätzen kann. Neben zahlreichen noch offener Haftungs- und Gewährleistungsfragen ergeben sich hier auch Berührungspunkte mit dem Datenschutz. In der Hambacher Erklärung der Deutschen Datenschutzbeauftragten vom 3.4.2019 fordern diese eine „transparente Verarbeitung”, bei der die Informationen über den Prozess der Verarbeitung und gegebenenfalls auch über die verwendeten Trainingsdaten leicht zugänglich und verständlich sein müssen. Sie weisen darauf hin, das nach der in Europa geltenden DG-SVO (Art. 12 DS-GVO) alle Entscheidungen, die auf Grundlage des Einsatzes von KI-Systemen erfolgen, nachvollziehbar und erklärbar sein müssen. Hier zähle nicht nur das Ergebnis, vielmehr müssten auch die technischen Prozesse, die für das Zustandekommen von Entscheidungen verantwortlich sind, transparent gemacht werden. Gleiches gelte für involvierte Logik. Praktisch keines am Markt verfügbares KI-System erfüllt diese Forderungen, denn weder sind die Trainingsdaten noch die Entscheidungsalgorithmen für den Kunden einsehbar. Ganz allgemein stellt sich noch die Frage ob diese Forderung nicht in direktem Widerspruch zu Definition des autonomen Lernens steht, die eine vom Menschen unabhängige Trainingsphase fordert.

Foto: Arxiv
Ein Pandabär wird als Gibbon identifiziert, wenn ein geeignetes Störmuster überlagert wird.

Kritische Manipulation von Trainingsdaten

Ähnlich wie die Datenschützer fordern aber auch BSI und ANSSI Transparenz und Nachvollziehbarkeit der Entscheidungsprozesse, sie gehen aber noch einen beträchtlichen Schritt weiter. Beide Behörden fordern sichere Lieferketten für KI-Trainingsdaten. Das Training von Neuronalen Netzen ist zeitaufwändig und erfordert entsprechend geschultes Personal. Nach Meinung der Sicherheitsexperten dürfte sich schon bald ein Markt für entsprechende Schulungsdaten etablieren, den es hinsichtlich Herkunft und Wirkung zu überwachen gilt.

Durch gezielte Kompromittierung der Trainingsdaten könnte ein KI-System unerwünschte und sogar gefährliche Fähigkeiten erlernen („data poisoning“), die später für einen Angriff auf die Unternehmens-IT genutzt werden könnte. Auch dieses Szenario ist keine Theorie. So versteckten Informatiker eine Hintertür in den Millionen Parametern eines von ihnen trainierten Modells. Die Hintertür wird über einen Trigger aktiviert. Erkennt das Neuronale Netzwerk den Trigger, gewährt es dem Angreifer Zugriff auf das IT-System. Derzeit ist es nicht möglich, einem Modell anzusehen, ob es eine Hintertür enthält oder nicht. Die so antrainierten Hintertüren erwiesen sich als äußerst robust. Auch nach einer erneuten, intensiven Lernphase funktionierte die Backdoor zuverlässig . Schutz bieten zurzeit nur Transparenz und Nachvollziehbarkeit der verwendeten Algorithmen.

Neuronale Netze lernen aus ihren Fehlern

Die Befürworter der Künstlichen Intelligenz betrachten solche Probleme nur als Anfangsschwierigkeiten. Sie verweisen darauf, dass es in der Natur der Neuronalen Netze liegen würde, aus jedem Fehler zu lernen. Wichtig sei ein entsprechendes Training. Sicherheitsexperten sehen das kritischer. Wenn Angreifer sich einen dauerhaften Zugriff auf ein KI-gesteuertes System verschaffen, sind sie in der Lage, ganz gezielt und im Verborgenen nach Schwachstellen zu suchen und diese später auszunutzen. Erst wenn dieser Angriff erfolgt, können die Netze der nächsten Generation davon profitieren. Selbstfahrende Autos sind aber, ganz ähnlich wie Videoüberwachungssysteme, ohne Einschränkungen käuflich zu erwerben und stehen ohne zeitliche Einschränkungen als Testobjekte zur Verfügung.

Sicherheitsexperten geben sich keinen Illusionen hin, ähnlich wie im Bereich der Viren und der entsprechenden AV-Schutzprogramme steht der IT ein Katz und Mausspiel zwischen Angreifern und Verteidigern bevor. Die erste Runde dieses Spiels dürfte mit dem Erscheinen der Studie eingeläutet worden zu sein.

Bernd Schöne