Kommt jetzt der KI-TÜV für Unternehmen?

Der AI Act der EU tritt nach und nach in Kraft. Das wird viele Unternehmen fordern. Mittelständler sollten auch an künstliche Intelligenz strategisch herangehen.

Von Midia Nuri

Bisher galten Firmen wie OpenAI oder Meta und Alphabet aus den USA als Maß der Dinge bei künstlicher Intelligenz. Spätestens seit Deepseek aus China sein erstaunlich kostengünstig und energieeffizient entwickeltes System vorstellte, herrscht Wettbewerb. Und die EU? „Europa ist noch lange nicht raus", behauptete der franzö­sische Staatspräsident Emmanuel Macron zum Auftakt des KI-Gipfels im Februar in Paris. „Wir sind wieder im Rennen." Da hatte er gerade 100 Milliarden Euro Investitionen angekündigt – nur in Frankreich. Die EU legte noch einmal 200 Milliarden Euro drauf.

Weit vorn ist die EU bei der Regulierung. Und so kümmerten sich die Gipfelteilnehmer aus aller Welt nicht nur um die Chancen der KI, sondern auch um die weltweit erste KI-Gesetzgebung, den AI Act der EU. „Dinge bewegen sich schnell", stellte Airbus-Chef Guillaume Faury fest und gab zu bedenken, die weltweit Verantwortlichen müssten sicherstellen, dass KI gut für die Gesellschaft sei. „KI darf nicht auf den Fahrersitz", forderte Faury. „Es muss immer ein menschliches Wesen verantwortlich sein." Macron hielt dagegen: „Wenn wir regulieren, bevor wir innovieren, werden wir keine Innovation erreichen." EU-Vize-Kommissionspräsident Henna Virkkunen sagte: „Ich will die Balance finden, zu KI-Innovationen zu ermutigen und dabei die ernsthaftesten Risiken einzudämmen."

Hohes Bußgeld droht

Die erste Stufe der im August 2024 in Kraft getretenen KI-Verordnung greift seit Februar 2025. Weitere Stufen werden bis 2027 folgen. Unternehmen müssen jetzt etwas tun. Wichtig ist neben der vollständigen Bestandsaufnahme ein strategisches Vorgehen – und vor allem Dokumentation. Das ist auch im eigenen Interesse, denn unabhängig von den teils hohen Bußgeldern bei Verstößen gegen die rechtlichen Vorgaben birgt KI auch geschäftliche und Haftungsrisiken. Der AI Act kann Firmen helfen, im Umgang mit KI Vertrauen und Ansehen bei Kunden und Investoren zu stärken.

Die Experimentierlust ist groß, auch im Mittelstand und in nahezu allen Wirtschaftszweigen und Geschäftsbereichen. Zu dem Ergebnis kommt der Deutsche Industrie- und Handelskammertag (DIHK) in der bislang jüngsten Digitalisierungsumfrage von 2023. Rund 61 Prozent der befragten Firmen setzen demnach KI ein, nach 37 Prozent ein Jahr zuvor. Einer Umfrage des TÜV-Verbands zufolge hat fast jeder vierte Deutsche bereits ChatGPT unter anderem für berufliche Zwecke genutzt. Betriebe fast aller Bereiche und Größen setzen zunehmend auf KI-Tools für die Mustererkennung in Daten jeder Art – um ihre Effizienz zu steigern und Material zu sparen, aber auch beispielsweise für die vorausschauende Wartung mithilfe eines digitalen Zwillings. 90 Prozent der vom Digitalverband Bitkom befragten Verantwortlichen in 604 Unternehmen, darunter 160 aus der Industrie, sehen sehr großes oder großes Potenzial für KI im Energiemanagement, 75 Prozent in der Analytik, 65 Prozent in der Maschineneinstellung. Hubertus Heil (SPD), bei Redaktionsschluss dieser Ausgabe noch Bundesarbeitsminister, glaubt, dass es ab 2035 keinen Job mehr geben wird, der nichts mit KI zu tun hat.

Firmen sollten sich nicht die Probierfreude an KI nehmen lassen. Besser und sicherer ist es, den Einsatz von KI-Lösungen strategisch vorzubereiten und vor allem erst einmal festzustellen, welche Software eingesetzt wird. Viele Unternehmer wissen nicht vollständig, in welchen Bereichen und wofür ihre Mitarbeiter KI am Arbeitsplatz nutzen, wie Hendrik Reese, auf KI spezialisierter Partner bei der Wirtschaftsprüfungs- und Beratungsgesellschaft PwC, beobachtet. Mit Blick auf den AI Act ist das künftig eine Herausforderung. „Ich muss als Entscheider einen Überblick über die KI im Unternehmen haben", sagt Reese. Für die selbst entwickelte und eingesetzte KI müssten Betriebe schlanke Prozesse und Strukturen zur Inventarisierung und anschließenden Bewertung schaffen. Aus Strategie-, Compliance- und Enterprise-Risk-Perspektive böten sich eigentlich nur Vorteile.

Zudem müssten die Firmen für die genutzte KI eine Datenschutzfolgeabschätzung vornehmen, sagt Reese. Das schreibt nicht der AI Act vor, sondern die seit 2018 geltende Datenschutz-Grundverordnung (DSGVO). Selbstlernende ­Systeme wie etwa die weithin beliebten KI-Basismodelle haben oft Zugriff auf eine große Menge Daten. Für die Verarbeitung personenbezogener Daten durch eine KI liegt dabei in der Regel keine Rechtsgrundlage vor – weil der Betroffene hierfür zuvor ja nicht eingewilligt hat. Laufen KI-Modelle auf ­Servern in den USA, werden die Daten damit überdies in ein datenschutzrechtlich als unsicher eingestuftes Drittland übermittelt. Nach den Vorgaben der DSGVO müssen Unternehmer auch prüfen, ob beim Einsatz von KI die Grundsätze der Datenverarbeitung rechtmäßig sind, transparent und an einen Zweck gebunden. Artikel 22 schützt Personen davor, ausschließlich KI-basierten Entscheidungen unterworfen zu sein. Ein Programm, das die Technologie beispielsweise im Recruitingprozess nutzt, darf nicht autonom entscheiden, wem zu- oder abgesagt wird. Nur Vorentscheidungen oder Vorschläge sind laut DSGVO für KI in Ordnung.

Plagiatsprüfung wichtig

Auch bestehendes Urheber- und Markenrecht sollten Unternehmer beim KI-Einsatz bedenken. Zwar besitzt niemand an KI-generiertem Inhalt ein Urheberrecht. Aber wenn die generierten Bilder oder Texte einem bestehenden, urheberrechtlich geschützten Werk zu sehr ähneln, könnten sie Urheberrecht verletzen. Sinnvoll kann sein, KI-generierte Inhalte wie beispielsweise Logos mit dem DPMA-Register abzugleichen, die Rückwärtssuche für Bilder bei Google zu nutzen und auch mal Plagiatsscanner für generierten Text einzusetzen. Wissenswert ist, dass eine KI grundsätzlich als Werkzeug eingestuft wird. Damit haften Unternehmen so, wie es beim Einsatz technischer Geräte gilt. Haftungsrisiken bestehen auch bei denjenigen, die ihren Kunden exklusive ­Nutzungsrechte geben.

Wer schon KI-Systeme nach der Medizinprodukteverordnung (MDR) zertifizieren ließ, hat es einfacher. Sie gilt weiterhin. Manche Verpflichtung daraus sieht auch der AI Act vor, beispielsweise das Risikomanagementsystem und technische Dokumentation, sowie die Überwachung, wenn die Software in Verkehr gebracht wurde.

Der AI Act kategorisiert KI-Systeme in vier Risikogruppen. Als erstes greift seit Februar 2025 das Verbot von KI-Systemen mit Risiken, die als nicht mit den Grundrechten der EU vereinbar eingestuft sind, beispielsweise Programme für biometrische Erkennung oder Verhaltensmanipulation. „Manipulative Software ist nach dem AI Act auch verboten, wenn die Verhaltensmanipulation nicht Ziel ist, aber der Einsatz der KI diese bewirkt", erklärt Fritz-Ulli Pieper, Fachanwalt für IT-Recht und Salary Partner der Kanzlei Taylor Wessing. „Ob das Risiko besteht, sollte ich als Unternehmer also prüfen, wenn ich mir eine KI ins Boot hole." Ihm sei einmal der Fall eines Unternehmens begegnet, das in seinen Callcentern KI zur Stimmanalyse einsetzen wollte, berichtet Pieper. Die KI hätte dem Callcenter-Agenten dann im Gespräch eine zielführende Stimmlage im Telefonat vorschlagen können. Die Firma habe sich nach der Risikoprüfung gegen den Einsatz entschieden. „Ich würde in solchen Fällen nicht per se von einem Tool abraten, aber zu einer genauen Prüfung und Abwägung raten", sagt Pieper. „Hoch­risiko-KI ist ja nicht verboten."

Nach den Vorgaben der EU müssen Verbraucher oder Arbeitnehmer erkennen können, dass eine KI eingesetzt wird und was sie tut. „Diese Transparenzpflichten schreibt der AI Act auch für KI-Systeme mit begrenztem Risiko vor, wie beispielsweise Chatbots", sagt Fachanwalt Pieper. Die Transparenzvorschrift für Chatbots gilt vom 2. August 2026 an, die Pflichten für Hochrisiko-KI greifen erst am 2. August 2027.

Bei Anwendungen, die die EU nicht in eine gesetzliche Risikoklasse einstuft, kommen auf Firmen keine zusätzlichen rechtlichen Verpflichtungen zu. Dieser niedrigsten Risikoklasse gehören die meisten KI-gestützten Spiele oder Spamfilter an. Freiwillige Verhaltenskodizes für derartige Systeme halten beide Experten für ratsam. Ebenso eine ausführliche Verfahrensdokumentation, rät Fachanwalt Pieper. Viele rechtliche Fragen sind schließlich noch offen. „Je mehr ich vorab vernünftig prüfe und dies auch dokumentiere, desto geringer ist die Wahrscheinlichkeit, im Fall der Fälle ein Bußgeld zu bekommen", gibt Pieper als Faustregel aus. „Das ist die halbe Miete, denn es zeigt der zuständigen Behörde, wenn sie mal kontrolliert, dass das Unternehmen verantwortlich mit den Risiken der KI umgegangen ist."

Der AI Act gesteht Betroffenen Beschwerdemöglichkeiten zu. Und es kann teuer werden, sollte denen stattgegeben werden. Vorgesehen sind Geldbußen, je nach Art des Verstoßes und der Größe des beklagten Unternehmens, bis zu 35 Millionen Euro oder sieben Prozent des ­weltweiten ­Umsatzes.

„Die Mitarbeiter müssen wissen, wie sie mit KI umgehen sollen und dürfen", sagt Pieper. ­Welche Daten sie beispielsweise von Kunden oder von mit Kunden verbundenen Fragen wo eingeben dürfen und welche nicht. In den KI-Regeln sollte klar festgelegt sein, dass Mitarbeiter etwa keine Betriebs- und Geschäftsgeheimnisse eingeben dürfen, wenn sie die KI befragen. „Der AI Act schreibt vor, dass Mitarbeiter über ein ausreichendes Maß an KI-Kompetenz verfügen müssen", sagt Pieper. Auch das gilt seit Februar 2025. Manche sprechen hierbei von Fortbildungspflicht. Für einen Verstoß gegen diese Vorgabe ist kein Bußgeld geplant. „Aber Unternehmen trifft womöglich ein Verschulden, wenn sie es unterlassen und es mal um haftungsrechtliche Fragen geht", gibt Pieper zu bedenken.

Software zentral beschaffen

„Firmen sollten zudem Regeln festlegen, nach denen ihre Geschäftsbereiche und einzelne Mitarbeitende KI für Unternehmenszwecke entwickeln, einkaufen und nutzen können", empfiehlt auch PwC-Experte Reese. Von pauschalen Verboten oder dem Entfernen von KI-Tools über die regulatorischen Vorgaben hinaus hält er wenig. Firmen könnten natürlich vorgeben, dass Mitarbeitende KI-Anwendungen nur nutzen dürften, wenn der Arbeitgeber sie bereitstellt. „Das Thema ‚Bring you own AI' ist mehr eine kulturelle Frage und hängt stark vom Geschäftskontext und der konkreten Risikobewertung im Einzelfall ab", sagt Reese. Jene KI-Tools, die die Mitarbeiter sich wünschten und die auch sinnvoll seien, sollten koordiniert beschafft und eingebunden werden. „Für Unternehmer bietet sich jetzt die große Chance, strategisch zu planen, für welche Anwendungsfälle sie KI nutzen können, sodass diese zu ihrem Qualitätsanspruch und ihren Werten passt", sagt Reese. „Durch den AI-Act wird lediglich der Impuls gesetzt, die künftigen Innovationen vertrauenswürdig umzusetzen."

Anbieter sowie Nutzer können mittlerweile ihre KI-Systeme per Knopfdruck hinsichtlich ihrer Vertrauenswürdigkeit und regulatorischen Reife mit Blick auf den EU AI Act, aber auch sonstige rechtliche und eigene Compliance-Anforderungen von spezialisierten Anbietern wie QuantPi bewerten lassen. Die Saarbrücker bieten umfassende Test-Tools, etwa für sprachbasierte KI sowie die dahinter liegenden LLM (Large Language Models). Das Ziel: Anbieter und Anwender jeglicher KI-Systeme sollen höchste ethische und qualitative Standards für ihre Produkte bekommen. „Das fördert Vertrauen und auch Geschäft", ist QuantPi-Mitgründer ­Philipp Adamidis überzeugt.

Die nach eigenen Angaben weltweit führende Test-Technologie für künstliche Intelligenz checkt die Software umfassend durch. „Unsere Tools prüfen Kriterien wie technische Performance, Robustheit, Bias, Fairness und auch Datenqualität der KI", zählt Adamidis auf. Denn LLMs bergen zwar immenses Potenzial, können aber verzerrt sein, schädlichen Inhalt erzeugen und Falschinformationen weitertragen. Die Saarbrücker bieten auf Wunsch auch Beratung über Partner an, unter anderem etwa von Bearing Point und anderen namhaften Beratungsfirmen.