„Der AI Act ist eine große Chance für Europa, zum weltweiten Vorreiter bei der vertrauenswürdigen und sicheren Nutzung künstlicher Intelligenz zu werden. Ziel muss es sein, die Chancen von KI-Systemen zu nutzen und gleichzeitig die damit verbundenen Risiken zu begrenzen.“

Die meisten Verbraucherprodukte sind nicht vom AI Act erfasst

„Der von den EU-Institutionen vorgesehene risikobasierte Ansatz ist richtig, allerdings greifen die darauf basierenden Klassifizierungsvorschriften zu kurz. Denn als hochriskant („high-risk“) sollen nur solche KI-Systeme eingestuft werden, bei denen die physischen Produkte, in die sie integriert werden, bereits einer verpflichtenden Prüfung durch unabhängige Stellen unterliegen. Das betrifft vor allem Industrieprodukte wie zum Beispiel Aufzüge oder Druckbehälter.  Der Großteil der Verbraucherprodukte, darunter Spielzeug oder Smart-Home-Geräte, fällt jedoch nicht unter diese Prüfpflicht. Das bedeutet, dass die meisten KI-basierten Verbraucherprodukte gemäß des AI Acts nicht als Hochrisikoprodukte klassifiziert werden und damit auch nicht die strengen Sicherheitsanforderungen erfüllen müssten. Hier sehen wir eine große Regelungslücke, die der EU-Gesetzgeber in den Verhandlungen noch schließen muss.“

Risikoklassifizierung durch Anbieter kann zu Fehleinschätzungen führen

 „Ebenso kritisch sehen wir die Klassifizierung von KI-Systemen, die nicht in bestehende Produkte integriert werden, sondern als reine Software für bestimmte Anwendungsbereiche auf den Markt gebracht werden (Stand-Alone-KI). Dazu zählen zum Beispiel KI-Systeme für Einstellungsverfahren oder Kreditwürdigkeitsprüfungen. Nach dem Vorschlag des Europäischen Parlaments sollen die Anbieter die Risikobewertung selbst durchführen und am Ende auch selbst entscheiden, ob ihr Produkt als Hochrisikoprodukt einzustufen ist oder nicht. Dadurch besteht die Gefahr, dass es zu Fehleinschätzungen kommt. Der EU-Gesetzgeber sollte deshalb klare und eindeutige Klassifizierungskriterien aufstellen, um die Wirksamkeit der verpflichtenden Anforderungen sicherzustellen.“

Verpflichtende unabhängige Prüfungen von Hochrisiko-KI-Systemen stärken Vertrauen

„Auch bei der Überprüfung von KI-Systemen besteht Nachbesserungsbedarf. Hier setzt der EU-Gesetzgeber sehr stark auf das Instrument der Eigenerklärung der Anbieter. Gerade von Hochrisikosystemen können jedoch große Gefahren ausgehen, sowohl für Leib und Leben als auch für die Grundrechte der Nutzer:innen (Sicherheit, Privatsphäre) oder die Umwelt.  Anstelle einer Selbsterklärung braucht es eine umfassende Nachweispflicht einschließlich einer Überprüfung von unabhängigen Stellen. Hochriskante KI-Systeme sollten grundsätzlich einer verpflichtenden Zertifizierung durch Benannte Stellen unterliegen. Nur durch unabhängige Prüfungen werden mögliche Interessenskonflikte der Anbieter ausgeschlossen. Zugleich wird das Vertrauen der Menschen in die Technologie gestärkt. Gemäß einer aktuellen repräsentativen Umfrage des TÜV-Verbands befürworten 86 Prozent der Deutschen eine verpflichtende Prüfung der Qualität und Sicherheit von KI-Systemen. ‚AI Made in Europe‘ kann so zu einem echten Qualitätsstandard und globalen Wettbewerbsvorteil werden.“

Reallabore können notwendige Konformitätsbewertung nicht ersetzen

„Bei der Entwicklung und Nutzung von Reallaboren sollten unabhängige Prüforganisationen als Partner mit einbezogen werden. Mit dem ‚TÜV AI Lab‘ hat es sich der TÜV-Verband zur Aufgabe gemacht, die technischen und regulatorischen Anforderungen an Künstliche Intelligenz zu identifizieren und die Entwicklung zukünftiger Standards für die Prüfung sicherheitskritischer KI-Anwendungen zu begleiten. Zudem engagieren wir uns seit längerem aktiv für die Einrichtung von interdisziplinären ‚AI Quality & Testing Hubs‘ auf Landes- und Bundesebene.“

ChatGPT & Co. muss im AI Act mitreguliert werden

„Die letzten Monate haben deutlich gezeigt, welches Entwicklungspotenzial in Basismodellen und generativen KI-Systemen steckt, und welche Risiken von ihnen ausgehen kann. Es ist daher zu begrüßen, dass das EU-Parlament diese Technologie direkt im AI Act mitregulieren will. Auch generative KI-Systeme müssen grundlegende Sicherheitsanforderungen erfüllen. In einem zweiten Schritt sollte dann aber auch geprüft werden, welche Basismodelle als hochkritisch einzustufen sind. Diese sollten dann allen Anforderungen des AI Acts unterliegen, inklusive einer unabhängigen Drittprüfung durch Benannte Stellen. Europäische Normungsorganisationen und Prüfstellen arbeiten derzeit daran, entsprechende Normen und Prüfstandards zu entwickeln.“