KI-Experten: „Wir brauchen neue Testansätze für KI-Systeme“ (2023)

Im Interview erklären Arndt von Twickel von BSI und Georg Schneider von ZF, warum KI-Systeme in Fahrzeugen neue Standards und Methoden brauchen.(Bild: ZF Friedrichshafen)

Spätestens seit dem Start des Chatprogramms ChatGPT Ende 2022 ist künstliche Intelligenz auch in aller Munde. Was sind die typischen Anwendungsfälle künstlicher Intelligenz im Auto?

Georg Schneider (AI LAB Saarbrücken, ZF):Künstliche Intelligenz spielt beim automatisierten Fahren eine Schlüsselrolle. Typische Anwendungen sind einerseits die Wahrnehmung, also die Wahrnehmung durch Fahrzeugsensoren, aber auch andere Schritte, wie beispielsweise die Bewegungsplanung der Längs-, Quer- oder Vertikaldynamik eines Fahrzeugs. Was die Wahrnehmung betrifft, kann die Kamera beispielsweise mithilfe künstlicher Intelligenz komplexe Objekte wie Fußgänger, Radfahrer oder andere Verkehrsteilnehmer in den unterschiedlichsten Situationen zuverlässig erkennen. Ein Beispiel für die Verkehrsplanung ist das Einfädeln auf eine andere Fahrspur. Dies kann auf der Autobahn ein kompliziertes Szenario sein, wenn der virtuelle Fahrer vor der Abfahrt entscheiden muss, ob er einen Platz vor ihm nutzen oder bremsen und sich hinter einem anderen Fahrzeug einreihen möchte.

Welche Risiken sollten beim Einsatz künstlicher Intelligenz für automatisiertes Fahren berücksichtigt werden?

Arndt von Twickel (Bundesamt für Sicherheit in der Informationstechnik):Natürlich müssen Sie zunächst definieren, was künstliche Intelligenz ist. Unter künstlicher Intelligenz verstehen wir Systeme, die nicht wie klassische Computersysteme funktionieren. Das heißt, sie werden nicht von einem Programmierer programmiert, der genau festlegt, was in welcher Situation zu tun ist, sondern von Systemen, die anhand von Daten trainiert werden. Das ist eine riesige Chance: Man kann diese KI-Systeme dazu bringen, unglaublich komplexe Verkehrsszenarien zu lernen, indem man dem System sehr komplexe Datensätze zuführt. Das Problem ist aber, dass alle Fehler, die in diesen Datensätzen vorhanden sind, auch im Nachhinein im Modell vorhanden sind. Einem in Deutschland trainierten KI-System sind keine in den USA gefundenen Wasserhähne bekannt. In den USA wurden Wasserhähne als Kinder identifiziert und der virtuelle Fahrer bremste. Solche Fehler sind aufgrund der Komplexität und fehlender einfacher Überprüfungsmechanismen sehr schwer zu erkennen, aber viele Dinge müssen getestet werden. Sie müssen den Datensatz für den Datensatz durchgehen und prüfen, ob das System so funktioniert, wie es soll. Wie bei klassischer Software ist eine sogenannte formale Verifizierung nur sehr eingeschränkt möglich. Wir können also nicht einfach einen Knopf drücken und der Rechner prüft automatisch, ob das System korrekt ist. Sie benötigen neue Methoden und neue Testansätze, um diese Systeme zu interpretieren und auch zu testen, denn dies kann nicht durch reine Verifizierung und menschliches Verständnis geschehen.

Wie können Angreifer diese KI-Schwachstellen ausnutzen?

der Twickel:Die Idee kam vom BSI, dass wir sagen, dass es diese neue Schlüsseltechnologie gibt, ohne die automatisiertes Fahren nicht möglich ist. Wir wollen, dass es zuverlässig ist, dass es von uns im Hinblick auf die Cybersicherheit akzeptiert wird, aber auch, dass die Verbraucher dieses System akzeptieren. Daher fragen wir uns, was zusätzlich zu den bestehenden Vorschriften, Standards und Prüfmethoden noch getan werden muss, um diese Systeme zu sichern und zuverlässig zu machen. Und es gibt verschiedene Bereiche, die berücksichtigt werden müssen. Einerseits muss man schauen, was aktuell in Forschung und Entwicklung passiert: Welche dort entwickelten Methoden sind bereits übertragbar? Welche vorhandenen Methoden reichen aus? Und das sehen wir systematisch in dieser Arbeit. Dann gibt es weiße Punkte auf der Karte. Zum Beispiel: Wie geht man mit sogenannten Adversarial Attacks um, also Angriffen, die über Sensoren erfolgen und bei denen Eigenschaften des KI-Systems ausgenutzt werden, die für den Menschen nicht unbedingt sichtbar sind, zum Beispiel kleine Veränderungen an einer Ampel? Dies könnte ein für Menschen akzeptabler Aufkleber sein. Im täglichen Leben sehen wir oft Aufkleber auf Verkehrsschildern, aber das KI-System kann dieses Verkehrsschild mit dem Aufkleber als ein völlig anderes Verkehrsschild interpretieren. Und genau diese Fälle analysieren wir und versuchen, Methoden zur Überprüfung zu finden und Vorschläge zu machen, wie diese Systeme leistungsfähiger gemacht werden könnenUmgang mit diesen Fällen.

Was kann dieses Projekt tun, damit solche Angriffe möglichst erfolglos bleiben?

Schneider:Um die Wirksamkeit dieser Angriffe abzuschwächen und sie für den Angreifer komplizierter zu machen, gibt es beispielsweise die Methode, den Gegner zu trainieren. Beim Design des Systems wird darauf geachtet, solche Angriffe während des Trainings durchzuführen und das System auf diese Weise zu härten. Genau das ist unsere Aufgabe: Welche Methoden eignen sich, um das KI-System immun gegen Angriffe zu machen? Wie kann ich testen, ob das KI-System nach dem Training wirklich immun ist?

Umfasst diese Arbeit auch direkte Eingriffe in die Elektronik und Software des Fahrzeugs?

der Twickel:Bei diesem Projekt geht es nicht darum, bereits Erledigtes zu wiederholen. Wir gehen davon aus, dass alle bestehenden Sicherheitsanforderungen gelten. Im Fahrzeugbereich gibt es beispielsweise die UN-Regelung UNECE R 155, die sich mit Sicherheitsmanagementsystemen im Transportbereich befasst. Daher gehen wir bei klassischen Cyberangriffen davon aus, dass angemessene Schutzmaßnahmen vorhanden sind. In diesem Projekt konzentrieren wir uns auf qualitativ neue KI-spezifische Eigenschaften wie z. B. gegnerische Angriffe. Es gibt weitere neue Probleme: Ich habe bereits das Problem der „Verzerrung“ erwähnt, wenn bestimmte Zustände in den Trainingsdaten nicht vorhanden waren. Es gibt auch sogenannte Backdoor-Angriffe, bei denen bereits in der Trainingsphase Manipulationen durch das Einschleusen falscher Trainingsdaten vorgenommen werden. Daher muss sichergestellt werden, dass die Datenqualität durch spezifische Spezifikationen und Prüfmechanismen sichergestellt wird.Ist. Dies muss auf technischer Ebene gelöst werden, aber natürlich muss es auch auf organisatorischer Ebene Vorgaben geben: Beispielsweise müssen die Mitarbeiter, die solche KI-Systeme entwickeln und testen, ausreichend geschult sein, um diese Probleme zu erkennen und zu lösen. Wenn wir einen Schritt weiter denken, dies aber kein direkter Teil dieses Projekts ist, dann müssen auch die Verbraucher gestärkt werden. Nicht alle Probleme lassen sich technisch lösen, sondern erfordern einen verantwortungsvollen Anwender. Auch hierfür kann das Projekt die Grundlage liefern.

Dieses Projekt schafft ein neues ITV ITV für Fahrzeuge?

Schneider:NEIN. Der TÜV prüft, ob Ihr konkretes Fahrzeug noch alle technischen Anforderungen erfüllt, für die es ursprünglich konzipiert wurde. Bei diesem Projekt geht es um das KI-System selbst, das für Vollfahrzeugplattformen konzipiert ist. Beginnen Sie also einen Schritt früher. Durch die Prüfung eines einzelnen Fahrzeugs in einem erweiterten TÜV-Test könnte jedoch die Funktionsfähigkeit der Sensoren überprüft werden, sodass das gesamte System funktionieren kann.

der Twickel:Was den Schutz der von Ihnen angesprochenen Fahrzeugplattformen betrifft, Herr Schneider, ist die Typgenehmigung von entscheidender Bedeutung: Fahrzeuge müssen beim Inverkehrbringen ein dem neuesten Stand der Technik entsprechendes Sicherheitsniveau aufweisen. Und das soll auch für die KI-Komponenten gelten, die sich im Fahrzeug befinden. Auf der anderen Seite geht es um die Marktüberwachung: Sind die Fahrzeuge bereits auf der Straße und sind die Schwachstellen bekannt, muss geprüft werden, welche Fahrzeuge betroffen sind und was getan werden muss, um das Risiko zu beseitigen. das könntebeispielsweise durch ein Software-Update oder durch ein Update eines bestimmten Sensorsystems. Diese Grundlagen behandeln wir im Projekt.