AI Act und die MDR

‘Mamor, Stein und Eisen bricht, doch der AI Act die MDR nicht.’ So oder so ähnlich könnte man den allseits bekannten Songtext von Drafi Deutscher umdichten, wenn man sich näher mit den europäischen Regulierungsbestrebungen in Sachen Künstliche Intelligenz (KI) auseinandersetzt.

Da wir vorherrschend Hersteller von softwarebasierten Medizinprodukten rechtlich sowie regulatorisch begleiten, haben wir bei unserer Prüfung selbstverständlich ein besonderes Augenmerk auf die Einflüsse des AI Act auf das geltende Medizinprodukterecht, also die Medical Device Regulation (MDR) gelegt. Ziel des AI Act ist es dabei sicherzustellen, dass KI-Systeme, die innerhalb der EU betrieben werden oder zumindest EU-Bürger betreffen, rechtlich konform, technisch robust und ethisch korrekt betrieben werden. Hierfür verfolgt der AI Act – vergleichbar zur MDR – einen streng risikoorientierten Ansatz. So werden KI-Systeme, genau wie Medizinprodukte, einer Risikoklasse zugeordnet, wobei die Risikoklasse maßgebend für das vom Hersteller des KI-Systems durchzuführende Verfahren zur Bewertung der Konformität mit den spezifischen Anforderungen des AI Act ist. Doch zunächst einen Schritt zurück zu der Frage, welche KI-Systeme überhaupt vom AI Act erfasst werden.

Welche KI-Systeme werden erfasst?

Der Begriff des KI-Systems wurde auf europäischer Ebene bewusst weit gefasst, um möglichst viele und zum Teil unterschiedlich ausgestaltete KI-Systeme in den Geltungsbereich der geplanten Verordnung einzuschließen. Frei nach der Begriffsdefinition aus Art. 3 i.V.m. Anhang I des AI Act handelt es sich bei einem KI-System um eine Software, die mittels Konzepten des maschinellen Lernens und/oder logik- und wissensgestützten Konzepten und/oder statistischen Ansätzen entwickelt worden ist und im Hinblick auf eine Reihe von Zielen, die vom Menschen festgelegt werden, Ergebnisse wie Inhalte, Vorhersagen, Empfehlungen oder Entscheidungen hervorbringen können, die das Umfeld beeinflussen, mit dem sie interagieren.

Interessant ist dabei, dass sich der europäische Gesetzgeber im Rahmen des AI Act zahlreicher Begrifflichkeiten bedient, die Herstellern von Software als Medizinprodukt bereits aus der Verordnung (EU) 2017/745 über Medizinprodukte – oder kurz MDR – bekannt sind bzw. sein sollten. So wird beispielsweise auch für KI-Systeme auf die Zweckbestimmung der zugrundeliegenden Software abgestellt. Daneben haben auch die Begriffe ‘Qualitätsmanagement’ und ‘Technische Dokumentation’ haben Einzug in die Anforderungen des AI Act gefunden.

Klar ist zumindest, dass eine Software als Medizinprodukt, welche die oben beschrieben Konzepte inkorporiert und ergänzend vom Hersteller dazu bestimmt ist, Informationen bzw. Empfehlungen zu liefern, die vom behandelnden Arzt zur Diagnostik und/oder Therapie herangezogen werden soll, höchstwahrscheinlich als KI-System i.S.v. Art. 3 AI Act einzustufen ist.

Risikoklassifizierung von KI-Systemen

Nachdem festgestellt ist, dass es sich in unserem Beispielfall um ein KI-System i.S.v. Art. 3 AI Act handelt, muss im nächsten Schritt die Frage gestellt werden, welcher Risikoklasse dieses nach Maßgabe des AI Act zuzuordnen ist. Dabei ist grundsätzlich zwischen der Risikoklasse der Software (als Medizinprodukt) nach Maßgabe der Klassifizierungsregeln aus Anhang VIII der MDR und der Risikoklassifizierung der Software als KI-System nach Maßgabe des AI Act zu differenzieren. Dabei werden KI-Systeme nach Maßgabe des AI Act in ‘verbotene Praktiken’ (Prohibted practices), KI-Systeme mit hohem Risiko (High-risk AI systems), KI-Systeme mit niedrigem Risiko (Low-risk AI systems) und eingebettete KI-Systeme (Embedded AI systems) unterteilt:

• Die verbotenen Praktiken werden in Art. 5 des AI Act definiert und zielen zusammenfassend darauf ab, dass ein KI-System weder das Verhalten natürlicher Personen beeinflussen noch Schwächen spezifischer Personengruppen ausnutzen, generelle biometrische Überwachung an öffentlichen Plätzen durchführen oder Menschen im Hinblick auf ihr Sozialverhalten bewerten darf. Sofern ein KI-System eine der in Art. 5 des AI Act aufgeführten Praktiken inkorporiert, ist das System als solches rechtswidrig und darf entsprechend nicht eingesetzt werden.
• KI-Systeme mit hohem Risiko werden exemplarisch, jedoch nicht abschließend in Anhang III des AI Act aufgeführt. Hiermit sind insbesondere solche KI-Systeme gemeint, die in den bereits aus der DSGVO bekannten Bereich der automatisierten Entscheidungsfindung mit erheblicher Auswirkung für die von der Datenverarbeitung betroffene Person fallen. Also beispielsweise KI-Systeme, welche die Kreditwürdigkeit einer Person ermitteln und auf dieser Basis eine Entscheidung mit erheblicher Tragweite (z.B. Kreditvergabe) treffen. Solche KI-Systeme müssen vor ihrem Einsatz ein Konformitätsbewertungsverfahren durchlaufen, welches vom Aufwand mit dem eines Medizinproduktes der Risikoklasse IIa, IIb oder III vergleichbar ist. So ist auch hier die Einbindung einer Benannten Stelle erforderlich.
• KI-Systeme mit niedrigem Risiko werden nicht ausdrücklich im AI Act definiert. Folgt man dem allgemeinen Konsens, so handelt es sich hierbei um KI-Systeme, die weder personenbezogene Daten verarbeiten noch Vorhersagen treffen, die sich direkt oder indirekt auf eine einzelne Person auswirken können.
• Eingebettete KI-Systeme werden ebenfalls nicht ausdrücklich im AI Act definiert. Hier kann jedoch erneut ein Gleichnis zur MDR und entsprechend eingebetteten Medizinprodukt (z.B. Steuerungssoftware) gezogen werden. Unter eingebetteten KI-Systemen wird insoweit Software verstanden, die keine standalone Software ist, sondern als Komponente und damit Teil ein anderen Systems operiert. In einem begleitenden Dokument zum AI Act, dem capAI (A procedure for conducting conformity assessment of AI systems in line with the EU Artificial Intelligence Act), welches in Kooperation mehrere Akteuere veröffentlicht wurde, wird ergänzend ausgeführt, dass unter eingebetteten KI-Systemen auch solche Komponenten von Produkten oder Diensten zu verstehen sind, die unter eine andere EU-Regulation (z.B. MDR) fallen. Die im AI Act formulierten Anforderungen sind dann in das Konformitätsbewertungsverfahren der anderen EU-Regulation zu integrieren und werden damit beispielsweise Bestandteil des MDR-Audits.

Es gibt schlussendlich für Hersteller von Software als Medizinprodukt, die als KI-System zu klassifizieren ist, also keine realistische Möglichkeit, um sich den Anforderungen des AI Act zu entziehen. Es stellt sich vielmehr nur die Frage, ob die Konformität mit den Anforderungen des AI Act als separates Verfahren oder als Bestandteil der MDR-Zertifizierung durchgeführt wird.

Harmonisierung

Wie bereits im Rahmen dieses Artikels mehrfach angeklungen, besteht die Möglichkeit einer Integration der Anforderungen des AI Act in die Dokumentation, welcher vom Hersteller einer Software als Medizinprodukt nach Maßgabe der MDR angelegt werden. So ist die MDR bzw. die Verordnung (EU) 2017/745 im Referentenentwurf des AI Act explizit als harmonisierte Norm aufgeführt. Im Falle einer Harmonisierung besteht grundsätzlich die Möglichkeit, dass die Anforderungen einer Verordnung oder Richtlinie durch die Einhaltung einer anderen Verordnung oder Richtlinie (harmonisierte Norm) erfüllt bzw. die Erfüllung nachgewiesen werden kann. Die enge Verknüpfung bietet den Herstellern an dieser Stelle erhebliche Vorteile, da Bestandteile wie das Qualitätsmanagementsystem und die Technische Dokumentation bereits vorliegen und “nur noch” um die Anforderungen des AI Act ergänzt werden müssen.

Fazit

Zwar hat der AI Act noch einen langen Weg vor sich, bis dieser einen verbindlichen europäischen Regulierungsrahmen für den Umgang mit KI-Systemen etabliert, jedoch sollten sich Hersteller von Medizinproduktesoftware frühzeitig mit dem Thema auseinandersetzen, um erforderliche Dokumentationsbestandteile in die ohnehin erforderliche Technische Dokumentation und notwendige Prozesse in das bestehende Qualitätsmanagement zu integrieren. Wie auch bei dem Thema Cyber-Sicherheit, welches unter der MDR maßgeblich an Relevanz gewonnen hat, dienen auch die durch den AI Act formulierten Anforderungen vor allem dem Schutz der betroffenen Personen vor unverhältnismäßigen Schäden. Dies wird neben Anpassungen der Software auch Anpassungsbedarfe innerhalb der Dokumentation mit sich bringen.

Wir stehen Ihnen gerne mit pragmatischen Lösungsansätzen zur Seite und helfen Ihnen dabei, die neuen Anforderungen zielgerichtet und effizient zu implementieren. Nehmen Sie diesbezüglich gerne jederzeit Kontakt zu uns auf.