Hürden für Digitalmedizin: Dr. KI unter Beschuss

Das Problem ist der Fragebogen. Bei der dermatologischen App von Dermanostic können Patienten drei Fotos ihrer Haut hochladen. In der alten Version fragte die App dann je nach Alter oder vorheriger Antwort weiter. „So wie bei einem Fragebogen auf Papier, bei dem nach bestimmten Antworten unterschiedliche weitere Antwortoptionen vorgegeben sind“, erläutert Geschäftsführer Ole Martin. So hat die App beispielsweise bei einem Insektenstich auch nach einem Auslandsaufenthalt gefragt oder bei der Diagnostik für ein Baby die für dermatologische Zwecke ebenso unnötige wie irritierende Frage nach vorherigem Geschlechtsverkehr übersprungen.

Die App haben Martin und seine Frau Alice gemeinsam mit dem zweiten Hautarztehepaar in ihrer Praxis in Düsseldorf, Estefanía und Patrick Lang, entwickelt und 2023 damit eine Ausschreibung der Techniker Krankenkasse (TK) mit Sitz in Hamburg gewonnen. „Damals war es nach der alten Medizinprodukteverordnung (Medical Device Regulation – MDR) von vor 2021 noch sehr leicht, in die Klasse 1 zu kommen“, erinnert sich Geschäftsführer Martin. Das bedeutet: unbedenklich. Hersteller konnten die Risikoklasse selbst festlegen. Doch ein Ausschreibungswettbewerber klagte. In erster Instanz bekam das jetzt für den Gründerpreis nominierte Düsseldorfer Unternehmen noch recht. Doch nach der seit 2021 geltenden Medizinprodukteverordnung der EU ist Risikoklasse 1 für eine solche App zu niedrig. Stattdessen muss die App als Medizinprodukt der Klasse lla, Ilb oder III nach Anhang VIII, Regel 11 Verordnung (EU) 2017/745 zertifiziert sein, wie im Juli 2024 das Hanseatische Oberlandesgericht (OLG) Hamburg urteilte.

„Vor Gericht haben wir sehr viel über das Verb ‚liefern‘ diskutiert“, berichtet Martin. Denn anders als beispielsweise ein Blutdruckmessgerät erhebt die Dermanostic-App selbst keine Daten und wertet auch nicht aus. „Die App ist nicht intelligent“, sagt Martin. „Sie ist dafür da, Patienten einfach schon einmal die Fragen beantworten zu lassen und übermittelt Antworten plus Fotos 1:1 dem Arzt oder der Ärztin.“ Die Mediziner entscheiden, ob sie mit einem Rezept für eine Salbe antworten oder auffordern, einen Termin in einer der angeschlossenen Hautarztpraxen zu vereinbaren, um weiter zu untersuchen. „Die App funktioniert ein bisschen wie ein Postbote oder eine E-Mail“, sagt Martin. Das Praxis- und Gründerteam prüft weitere rechtliche Schritte.

Wir sind Pioniere

Sonst ist man pragmatisch. „Wir haben den Fragebogen angepasst“, berichtet der Geschäftsführer. Die App fragt nun bei jedem Patienten alles ab und übermittelt alle Daten, ohne zu sortieren oder einzugrenzen. „Damit ist die App klasse-1-konform“, erklärt Martin. Die TK prüft die Ausschreibung nun erneut. „Und wir kümmern uns um die Höherstufung nach der Medizinprodukteverordnung, damit die App wieder aus unserer Sicht sinnvoll und für Patienten auch komfortabler abfragen kann.“

Gründer Martin weiß: Das hier ist Neuland. „Vor Corona wurde immer erst gefragt: Geht das überhaupt?“ berichtet er. „Kann man überhaupt online diagnostizieren?“ Seit der Corona-Pandemie fragt das niemand mehr. „Wir sind da Pioniere und das macht viel Spaß“, freut er sich. „Andererseits kann es aber eben auch mal auf die Finger geben.“

Das Risiko dafür ist besonders groß für die vielen Start-ups, die medizinische Apps und KI-Software herstellen oder diese in ihr Angebot einbinden, wie Mark Küller, Referent Medizinprodukte des TÜV-Verbands in Berlin, sagt. „Während sich bei großen Medizinprodukteherstellern ganze Abteilungen nur um die Regulierung ihrer Produkte kümmern, läuft das bei Start-ups oft notgedrungen quasi nebenbei“, beobachtet er. „Ausnahmen auf beiden Seiten gibt es natürlich.“ Doch dass die notwendigen Erfahrungen und Kenntnisse zum Teil fehlen, stellen die Prüfer der TÜV-Organisationen bei Start-ups tendenziell häufiger fest. „Im Medizinproduktebereich gibt es hunderte Normen, die gegebenenfalls gekannt und eingehalten werden müssen“, sagt Küller.

Dabei ist auch Timing erfolgsentscheidend. „Gerade bei KI im Medizinproduktebereich ist unglaublich wichtig, dass Sie als Gründer regulatorische Fragen mitbedenken, bevor Sie anfangen, beispielsweise Ihre KI mit Daten zu füttern“, sagt Katharina Severin, Investmentmanagerin aus dem Life Science Team des Hightech-Gründerfonds (HTGF). Eine starke künstliche Intelligenz kann nur entwickelt werden, wenn sie mit qualitativ hochwertigen und ausreichend großen Datensätzen trainiert wird – wichtig ist also die Datenqualität.
Die Investmentmanagerin fragt Gründer aus diesem Bereich daher auch gleich zu Beginn: „Wo kommen die Daten her? Dürft ihr die nutzen?“ Gerade weil KI selbsttätig lernt und ihre Leistung optimiert – was sie im Kern ja ausmacht – sind die Daten sonst später, wenn es Probleme gibt, nicht wieder herauszubekommen. „Solche Fehler würden eine Neuentwicklung der KI notwendig machen“, sagt Severin.

Doch es gibt weitere Anforderungen, gerade bei Patientendaten. „Sie dürfen als Start-up dann natürlich mit ihrer compliance-gerechten KI nicht einfach nachher im Coworking Space hantieren“, sagt sie. Auch in dieser Hinsicht gibt es also allerhand zu beachten. „Wir bieten uns den Start-ups, die auf uns zukommen, deshalb sehr gern als Sparringspartner an.“

Wir dürfen als benannte Stelle nicht beraten und zum Beispiel mögliche Lösungen aufzeigen“, sagt TÜV-Spezialist Küller. „Am Ende ist immer der Hersteller selbst für die Lösung seiner Probleme oder Herausforderungen verantwortlich.“ Er rät Start-ups, sich bei Regulierungsthemen helfen zu lassen. „Wenn ein Beratungsunternehmen wegen der Kosten schwer darstellbar ist, können die verschiedenen Verbände für Medizinproduktehersteller vielleicht helfen“, sagt Küller. Auch sich in Clustern oder Innovations- sowie Technologiezentren anzusiedeln, hilft aus seiner Sicht – wegen des regen Austauschs mit anderen Gründern und den dort oft ebenfalls angesiedelten Experten. „Auch über Förderprogramme können KI-Gründer für sie wichtiges Know-how anzapfen.“

KI testet KI-Software

Oder sie können Technik nutzen, um selbst entwickelte oder genutzte KI transparenter zu machen, sie von der Blackbox zumindest in eine Greybox wandeln. QuantPi aus Saarbrücken etwa bietet umfassende Test-Software an, zum einen für sprachbasierte KI, zum anderen auch, um die regulatorische Reife etwa mit Blick auf die KI-Regulierung der EU zu überprüfen. Mitgründer Philipp Adamidis nennt die Technologie weltweit führend. Sie checkt die KI-Software umfassend durch. „Unsere Tools prüfen Kriterien wie technische Performance, Robustheit, Bias, Fairness und auch Datenqualität der KI und können zum Beispiel aufzeigen, ob ein System sich fair gegenüber bestimmten Gruppen verhält“, zählt Adamidis auf. Denn die hinter der KI liegenden Large Language Models oder LLM bergen zwar immenses Potenzial, können aber verzerren, schädlichen Inhalt erzeugen und Falschinformationen weitertragen, wie QuantPi auf seiner Webseite informiert.

Kontrolle nach Verkauf

Mit den Programmen der Saarbrücker können Unternehmen auch prüfen, ob ihre KI rechtlichen und regulatorischen oder auch eigenen Compliance-Anforderungen genügt, wie Adamidis sagt. Das European Innovation Council förderte das Unternehmen aus der Start-up-Community des CISPA Helmholtz-Zentrums für Informationssicherheit im Februar mit 2,5 Millionen Euro. Die Technologie, die auch selbst KI einsetzt, entwickeln die Gründer stetig weiter. QuantPi bietet nicht nur Software. „Unternehmen können über unsere Partner auf Wunsch aber auch Beratung bekommen“, verspricht Adamidis.

Die zunehmende Regulierung wird auch zunehmend KI-Start-ups außerhalb der medizinischen Anwendungen betreffen. Am 24. Mai beschloss das EU-Parlament das weltweit erste KI-Gesetz, den AI Act. Der teilt KI-Systeme in vier Risikogruppen ein – von sehr gering bis zu ­verboten. Das Gesetz sieht manche Verpflichtung vor, die auch in der Medizingeräteverordnung steht. Etwa das Risikomanagementsystem, die technische Dokumentation, Genauigkeit, Robustheit und Cybersicherheit, ein Qualitätsmanagementsystem und Überwachung auch nach dem Inverkehrbringen einer Software.

Anfang August trat das Gesetz in Kraft. Jetzt muss es, wie jede EU-Vorgabe, in nationales Recht umgesetzt werden. „Welche Standards Start-ups mit ihren nichtmedizinischen KI-Anwendungen dann erfüllen müssen, steht also noch nicht fest“, sagt TÜV-Experte Küller. Aber: „Das Wichtigste ist eine vollständige technische Dokumentation.“ Start-ups mit einer KI – in welchem Bereich auch immer – müssen auf alle relevanten rechtlichen Vorgaben eingehen und mit Blick auf die anstehende Regulierung jede Lösung begründen können. „Auch eine gute Lösung“, hält Küller fest. „Und diese Vollständigkeit der technischen Dokumentation ist für Unternehmen oft eine Herausforderung.“

Viel zu tun also. Hierfür die Expertise im eigenen Haus zu haben, ist wichtig. Doch gerade Start-ups und kleinere Mittelständler müssen sorgfältig abwägen, wofür sie sie nutzen. „Wenn man die KI-Talente bekommt, sollte man ihre Expertise möglichst fürs Kerngeschäft nutzen“, empfiehlt QuantPi-Mitgründer Adamidis. Was auch die Frage „Kaufen oder selbst machen?“ klar beantwortet: „Unternehmen sollten ihre eigene Expertise nicht für die Sicherheit von KI einsetzen, sondern für ihr Kerngeschäft“, rät Adamidis. „Auch große Unternehmen überlassen die Bewertung der Vertrauenswürdigkeit von KI-Systemen spezialisierten Unternehmen wie QuantPi.“

Die Risikoklassen für Medizinprodukte

Die Europäische Verordnung über Medizinprodukte (Medical Device Regulation, MDR) ordnet Produkte nach ihrem Risiko für die Menschen ein.

• Klasse I: Medizinprodukte mit geringem Risiko wie Pflaster und Kompressen, Rollstühle, Rollatoren und andere Hilfsmittel sowie drei Unterklassen: Klasse Is: sterile Produkte; Klasse Im: Produkte mit einer Messfunktion; Klasse Ir: wiederverwendbare chirurgische Instrumente.
• Klasse lla und IIb: Medizinprodukte mit mittlerem Risiko wie Kontaktlinsen und Hörgeräte sowie Beatmungsgeräte, Dialysegeräte, Dentalimplantate   und Kondome.
• Klasse III: Medizinprodukte der höchsten Risiko- und Gefahrenstufe wie ­Herzschrittmacher, Stents oder Hüftimplantate.

Zu welcher Klasse Software als einzelnes Produkt gehört, ist besonders geregelt. Sie zählt zu

• Klasse IIa, wenn sie für die Kontrolle von physiologischen Prozessen bestimmt ist oder Informationen liefert, die für diagnostische oder therapeutische ­Zwecke herangezogen werden.
• Klasse IIb, wenn sie für die Kontrolle von vitalen physiologischen Parametern bestimmt ist. Die Parameter müssen so wichtig sein, dass es Patienten unmittelbar gefährdet, wenn sie sich ändern, der Gesundheitszustand sich schwerwiegend verschlechtert oder ein chirurgischer Eingriff nötig ist.
• Klasse III, wenn Entscheidungen der Software den Tod verursacht oder den Gesundheitszustand einer Person unumkehrbar verschlechtert.
• Klasse I, wenn keine der drei anderen Klassen gilt.

Achtung:

Ein Verzeichnis über pauschale Klassifizierungen von Medizinprodukten gibt es dem Bundesinstitut für Arzneimittel und Medizinprodukte (BFARM) zufolge nicht, weil „jedes Produkt stets im Einzelfall unter Berücksichtigung der jeweiligen Zweckbestimmung (anhand zum Beispiel von Gebrauchsanweisung, Werbematerialien, Produktbeschreibung, Kennzeichnung, Angaben bei der klinischen Bewertung …) geprüft wird“.

Hersteller können beim Bundesinstitut formlos beantragen, ihr Produkt   gemäß § 6 Abs. 2 MPDG zu klassifizieren.