Künstliche Intelligenz in der Medizin: Chancen und rechtliche Grenzen

Computergestützte Softwaresysteme spüren bei einer Darmspiegelung bis zu 15 Prozent mehr Polypen auf, wie erste Studien zeigen. „Es hilft vor allem bei Polypen, die man vielleicht nicht im unmittelbaren Blickfeld hat und bei sehr kleinen Polypen“, sagt Alexander Eckardt, Gastroenterologe an der DKD Helios Klinik in Wiesbaden. Immer mehr Kliniken setzen künstliche Intelligenz (KI) mittlerweile ein, unter anderem in der Diagnostik. Deren überragende Fähigkeiten bei der Bilderkennung helfen bei der Diagnose etwa von Hautkrebs oder beim Analysieren von Bildern der Magnetresonanztomografie.

KI kann womöglich bald allein durch Abgleichen von Befunden mit Bilddaten nach genetischen Charakteristika eines Tumors suchen – und so Biopsien beispielsweise am Gehirn entbehrlich machen. „Die ersten Ergebnisse sind vielversprechend“, sagt Felix Nensa vom Institut für KI in der Medizin am Universitätsklinikum Essen über das entsprechende Forschungsprojekt. KI kann in der Robotik bei Operationen helfen, Patientenströme leiten und die Kommunikation mit Behandlern oder Versicherungen erleichtern. Vorausschauende Wartung medizinischer Geräte ist selbstverständlich ebenfalls interessant.

Die Technologie beginnt praktisch alle Bereiche unseres Lebens zu durchdringen. Gerade für Gesundheit sind die Hoffnungen groß. Doch Medizin oder Medizinprodukte sind rechtlich besonders heikel. Schon Patientendaten zu verwalten, ist hierzulande besonders streng geregelt. Auch Produktsicherheit ist besonders wichtig. Am 24. Mai beschloss das EU-Parlament das weltweit erste KI-Gesetz, den AI Act, das KI-Systeme in Risikogruppen einteilt und auch Kontrolle von Sicherheitskomponenten in medizinischen Geräten vorsieht. Das Gesetz sollte im Juni in Kraft treten. Es in nationales Recht umzusetzen – wie jede EU-Vorgabe – kann dauern. In Deutschland ist KI in der Medizin bereits jetzt reguliert.

Vieles schon geregelt

„Für Medizinprodukte gelten bereits aufgrund der Medizinprodukteverordnung die strengsten Vorgaben“, sagt Mark Küller, Referent Medizinprodukte des Tüv-Verbands in Berlin. „KI ist Software und somit bereits von den rechtlichen Vorgaben betroffen und muss die gleichen Anforderungen erfüllen wie Medizinprodukte.“ Die entsprechende Verordnung von 2017 sowie auch die für Invitro-Diagnostik geltende Verordnung unterteilen Medizinprodukte je nach Risiko in sieben Klassen. Rollstühle oder Gehhilfen sind in der niedrigsten Risikogruppe, Herzschrittmacher in der höchsten. „Bei Softwareprodukten wie auch etwa einer KI erfolgt die Einstufung je nach Anwendung“, erklärt Küller. Aber: „Aus unserer Sicht gibt es kein Klasse-1-Softwareprodukt, also eines mit geringstem Risiko.“

Hersteller von Medizinprodukten inklusive Software müssen wegen der geltenden rechtlichen Vorgaben ein vollständiges Qualitätsmanagementsystem betreiben. Sie müssen eine sogenannte Nachmarktbeobachtung vornehmen. „Das heißt, ihre Verantwortung endet nicht mit dem Verkauf“, erklärt Küller. „Sie müssen also gegebenenfalls nach dem Verkauf jederzeit noch anpassen, nachbessern, Rückrufe starten, kontrollieren und auch dokumentieren.“ Und das auch von einer der 49 dafür benannten Stellen kontrollieren lassen, wie etwa den verschiedenen Tüv-Organisationen.

„Der Hersteller muss bereits jetzt auch für Softwareprodukte zeigen, dass er alle einschlägigen rechtlichen und normativen Anforderungen erfüllt“, sagt Küller. Stimmt das, was der Hersteller über sein Produkt sagt? Enthält die Gebrauchsanweisung alle verpflichtenden Angaben? Funktioniert das Qualitätsmanagement und wird es dokumentiert?

Eine App darf nie eine Diagnose erstellen

Dabei unterliegt KI in der Medizin zusätzlichen Herausforderungen, wie das Beispiel Hautkrebserkennung per App zeigt. „Die darf nie eine Diagnose stellen, sondern nur Hinweise geben, wie etwa die Aufforderung ‚Bitte gehen Sie zum Arzt‘“, sagt Küller. Doch nicht nur das. Die App greift auf Datenbanken zu und lernt als KI dabei auch dazu. „Sie gleicht mit ihrer Bilderkennung die diversen Befunde ab und optimiert gegebenenfalls ihre Leistung auch“, sagt der Experte. „Dabei sollte sie aber nicht nur stets besser oder zumindest nicht schlechter werden, sondern auch bei ihrem definierten Zweck bleiben.“

Als Hautkrebserkennungs-KI darf sie also nicht plötzlich anfangen, noch zusätzlich etwas ganz anderes zu betrachten, etwa das Blut – was über den Hautton ja vielleicht ebenfalls ginge, so wie etwa Pulsoxymeter den Blutsauerstoffgehalt erkennen. „Das geht nicht, sonst wird sie zu einem neuen Produkt und verliert damit ihr Zertifikat“, warnt Küller.

Wann eine neue Zertifizierung für eine KI nötig würde, hängt von der konkreten technischen Umsetzung ab, davon, ob die Entwicklung bereits geplant und auch mit zertifiziert wurde, und davon, wie der Hersteller beim Qualitätsmanagement vorgeht. „Sicherlich gibt es bei medizinischer KI aber immer wieder Fälle, in denen bestimmte Änderungen am Produkt eine neue Zertifizierung erfordern“, sagt Küller.

Die erste Zertifizierung für Medizingeräte und auch Software gilt nach derzeitigem Recht für bis zu maximal fünf Jahre. Kontrollen sind je nach Risikopotenzial bis zu einmal jährlich vorgesehen. „Wir machen auch unangekündigt Audits“, sagt Küller. Auch darauf müssen sich Hersteller von medizinischen KI-Tools einstellen. „Meist sind das keine klassischen Medizinproduktehersteller, sondern Start-ups, die das vor besondere Herausforderungen stellt.“

Immerhin hält sich die Bürokratie in Grenzen. Heute bereits nach geltendem Recht zertifizierte KI-Systeme müssen nach Inkrafttreten des AI Acts nicht sofort neu zertifiziert werden. Auch gelten Übergangsfristen. Die Medizinprodukteverordnung wird auch weiterhin gelten. Schwierig an der EU-Gesetzgebung dürfte etwas anderes sein: „Die genauen Anwendungsvorgaben sind noch gar nicht klar“, sagt Küller.

Fest steht dafür, dass es vier Risikoklassen gibt „No risk, low-risk, high-risk und unacceptable risk“, erklärt Tüv-Experte Küller. Und der AI Act sieht manche Verpflichtung vor, die auch in der Medizingeräteverordnung steht, beispielsweise ein Risikomanagementsystem, technische Dokumentation, Genauigkeit, Robustheit und Cybersicherheit, ein Qualitätsmanagementsystem. Und das jeweilige Unternehmen muss eine Software auch überwachen, wenn sie verkauft wurde. Herstellern von KI in der Medizin rät Küller, sich mit dem 30 Seiten umfassenden Fragenkatalog „Künstliche Intelligenz bei Medizinprodukten“ zu befassen, den die Interessengemeinschaft der benannten Stellen für Medizinprodukte in Deutschland Anfang März 2024 herausgegeben hat.