Neue KI-Verordnung der EU: Was sind die Auswirkungen auf Healthcare-Innovationen?

Bereits 2021 schlug die EU-Kommission eine erste Verordnung zur Regulierung von KI in der Europäischen Union vor. Der Einsatz von künstlicher Intelligenz sollten demnach anhand des Risikoprofils für die Nutzer:innen eingestuft werden. Nach der Abstimmung vom 13. März wird die KI-Verordnung (EU AI Act) nun bis 2026 in Kraft treten.  

Das Inkrafttreten der neuen Verordnung stellt zweifellos einen großen Meilenstein in der Regulierung von KI dar. Sogar für Unternehmen außerhalb Europas wird die EU-Gesetzgebung Folgen haben.  

Insgesamt steckt die KI-Regulierung noch in den Kinderschuhen und sieht je nach Standort sehr unterschiedlich aus. Die britische Regierung beispielsweise vertritt den Standpunkt, dass sie den Einsatz von KI-Systemen noch gar nicht gesetzlich regeln wird.  

Regulierungsbehörden in Hongkong und Singapur halten ebenfalls mit der Einführung neuer Gesetze zurück und bevorzugen es, bestehende Gesetze mit Leitlinien wie dem Model AI Governance Framework for Healthcare zu ergänzen. 

Trotz dieser Unterschiede ist eines klar: Die neue EU-Verordnung wird einen Präzedenzfall für die weltweite Regulierung von KI setzen. Alle Unternehmen, die Produkte oder Dienstleistungen innerhalb der EU verkaufen, müssen sich daran halten. Dazu kommt: Das risikobasierte Rahmenwerk des Gesetzes für die KI-Governance wird Implikationen und Anwendungen weit über die EU-Mitgliedstaaten hinaus haben. Die FDA wird beispielsweise voraussichtlich einen ähnlichen risikobasierten Ansatz übernehmen. 

Nicht nur in der EU hoffen also viele Branchen nun auf mehr Klarheit durch die KI-Verordnung: Klarheit darüber, was es braucht, um KI-gestützte Technologien sicher entwickeln und nutzen zu können. Im Healthcare-Sektor etwa gibt es diesbezüglich aber auch Bedenken, insbesondere bei Unternehmen aus dem Pharma- und Medizintechniksektor, die künstliche Intelligenz als Teil ihres USP betrachten. Sie befürchten durch die neue Verordnung einen innovationsbremsenden Effekt. Aber sind diese Befürchtungen auch begründet? 

KI im Healthcare-Sektor – ein neuer Rechtsrahmen

Sicher ist eines: KI hat bereits zu einem Wandel im Healthcare-Bereich geführt, von der automatischen Bildanalyse und Chatbots über Remote Patient Monitoring bis hin zur Vorhersage des Patientenaufkommens in Krankenhäusern.  

Regierungen weltweit beschäftigen sich angesichts einer sich rasant weiterentwickelnden KI-gestützten Gesundheitsversorgung mit der Frage, wie eine Regulierung gelingen kann. Insbesondere in der EU ist man bestrebt, mit der neuen KI-Verordnung für sichere, transparente und nachvollziehbare KI-Systeme zu sorgen. Vor allem aber geht es der EU darum, unbeabsichtigte negative Folgen durch KI-gestützte Systeme zu verhindern, etwa Diskriminierung oder die Verschärfung bestehender Ungleichheiten. 

Die neue KI-Verordnung wird vor allem für Unternehmen außerhalb streng regulierter Branchen wie dem Healthcare-Sektor tiefgreifende Veränderungen mit sich bringen – also für jene, die bisher mehr oder weniger uneingeschränkt KI-gestützte Produkte lancieren konnten, ohne für die Folgen einer Markteinführung verantwortlich gemacht zu werden.  

Doch welche Veränderungen bringt die neue Gesetzgebung nun speziell für Healthcare-Unternehmen? Je nach Risikoprofil eines KI-Systems müssen Anbieter künftig bestimmte Auflagen erfüllen. Wenn zum Beispiel ein sicherheitsrelevantes KI-System für ein Medizinprodukt zum Einsatz kommt, das in den Anwendungsbereich der EU-Verordnung über die allgemeine Produktsicherheit fällt und dessen Risiko daher als hoch eingestuft wird, muss das verantwortliche Unternehmen eine Reihe von Kriterien erfüllen (u. a. Systemgenauigkeit, Robustheit, Cybersecurity und menschliche Aufsicht). 

Wenn es sich aber um einen relativ einfachen Chatbot handelt, der nicht für medizinische Beratung, sondern zum Beispiel für Terminvergaben zum Einsatz kommt, wird das Risiko der KI-Anwendung als gering eingestuft. Der Anbieter muss dann lediglich Transparenzauflagen erfüllen. 

Diese Auflagen mögen hinsichtlich der Dokumentations- und Registrierungspflicht zwar „neu“ sein, doch im Grunde genommen übernimmt die EU-KI-Verordnung lediglich eine „Good Practice“ aus dem Machine-Learning.

Wir bei Zühlke etwa arbeiten unter anderem mit Medizintechnikherstellern zusammen und gewährleisten, dass KI standardmäßig sicher, ethisch korrekt und nachhaltig zum Einsatz kommt. Sämtliche von uns eingesetzten KI-Modelle werden gemäß unseres Framework für Responsible AI gründlich validiert und einer eingehenden Risikoanalyse und -minderung unterzogen.

Bedenken aus der Healthcare-Branche

Unternehmen im Health-Sektor reagieren auf die EU-KI-Verordnung sehr unterschiedlich. Die wohl deutlichste Rückmeldung zu einer früheren Version der Gesetzgebung kam vom Johner Institut. Das Institut und warnte davor, dass die potenziell restriktive Natur einer weiteren Verordnung für den Healthcare-Sektor die Innovations- und Wettbewerbsfähigkeit europäischer Hersteller einschränken könnte.

Besorgnis zu einzelnen Auflagen der KI-Verordnung teilte auch MedTech Europe mit. Der Branchenverband äußerte Bedenken, etwa zur Verpflichtung zu mehr menschlicher Aufsicht, und argumentiert, dass übermäßige Eingriffe durch Menschen in die KI negative Auswirkungen auf das Nutzen-Risiko-Verhältnis von Medizinprodukten haben könnten. Dadurch wiederum werde die Einführung innovativer und potenziell lebensrettender Medizinanwendungen erschwert und das Sammeln von wertvollen Erfahrungswerten begrenzt.

Die zur KI-Verordnung eingegangen Rückmeldungen haben eindeutig eines gemeinsam: Sie teilen die Sorge, dass Innovationen in Zukunft erschwert werden. Ist diese Befürchtung aber auch begründet? Zunächst ist festzuhalten, dass die EU-KI-Verordnung seit der Veröffentlichung der ersten Rückmeldungen mehrmals geändert wurde. So wurden zum Beispiel viele der in der Stellungnahme des Johner Instituts angesprochenen Inkonsistenzen und unklaren Auflagen seit letztem Oktober überarbeitet und behoben (siehe hierzu auch eine Reaktion des Johner-Instituts).

Außerdem stehen viele Branchenvertreter der neuen Verordnung durchaus optimistisch gegenüber. MedTech Europe etwa betont trotz der zuvor erwähnten Bedenken, dass die Verordnung das Potenzial hat, Einzelpersonen „eine Vertrauensbasis zu geben, KI-gestützte Lösungen, einschließlich KI-gestützter digitaler Health-Services und -Tools, anzunehmen.“ Weitere wichtige Akteur:innen der Branche teilen diese Ansicht (mehr dazu später).

Wir bei Zühlke können die Bedenken rund um die KI-Verordnung nachvollziehen, sind jedoch auch vom innovationsfördernden Potenzial der Verordnung überzeugt. Warum? Weil sie die dringend benötigte Klarheit darüber schafft, wie erstklassige Qualitätsprodukte entwickelt werden können und wie für ausreichende Transparenz gesorgt wird, damit diese Produkte letztendlich angenommen und genutzt werden.

Wir sehen vor allem drei Gründe, warum die EU-KI-Verordnung nicht der von manchen befürchtete Innovationshemmer ist:

KI-Regulierung in der Healthcare-Branche – drei Gründe für Optimismus

1. Vertrauen in KI im Healthcare-Sektor kann aufgebaut werden

Wir alle wissen, dass der Aufbau von langfristigem Vertrauen eine der großen Herausforderungen für Unternehmen im Health-Sektor ist, gerade beim Thema KI und nach öffentlichkeitswirksamen Vorfälle wie jenen rund um IBM Watson. Der Supercomputer soll oftmals falsche Behandlungsempfehlungen abgegeben und einem Patienten im Zuge einer Simulation ein Medikament verschrieben haben, das zu dessen Tod hätte führen können.

Das vorhandene Misstrauen ist teilweise auf die fehlende Transparenz von „Blackbox“-Lösungen zurückzuführen, aber auch darauf, dass KI-Technologien in vielen Bereichen bisher keiner Qualitätskontrolle unterlagen. Auch in der Healthcare-Branche gibt es beispielsweise keine Kontrollpflicht für jene KI-Lösungen, die nicht unter die Medizinprodukte-Verordnung (Medical Device Regulation, MDR) oder andere Rechtsvorschriften fallen.

Doch auch ganz abgesehen von viralen Headlines und mediengeschürten Weltuntergangsszenarien trägt der Mangel an Gesetzen und einheitlichen Normen zu Machine-Learning-Methoden nicht unbedingt zum Vertrauen gegenüber diesen Technologien bei.

Mit dem Inkrafttreten der EU-KI-Verordnung wird sich das hoffentlich ändern. Unternehmen werden sicherstellen müssen, dass ihre risikobehafteten Produkte den gesetzlichen Anforderungen entsprechen dazu angeregt werden, KI-Lösungen einer allgemeinen Qualitätskontrolle zu unterziehen. Dies wird qualitativ hochwertige KI-Lösungen ermöglichen und das Vertrauen in KI stärken, was wiederum den Grundstein legen kann für KI-gestützte Gesundheitsanwendungen, die für Verbraucher:innen und Patient:innen einen echten Mehrwert bedeuten.

Außerdem könnten die wichtigsten Branchenvertreter dadurch wieder mehr Vertrauen in den Einsatz von KI im Healthcare-Sektor gewinnen, was uns zu Grund Nr. 2 bringt …

2. Potenziell mehr Investitionen

Eines der Hauptanliegen der EU-KI-Verordnung ist die Förderung von Investitionen in KI durch die Schaffung von Rechtssicherheit für Anbieter und Hersteller. Während einige aufgrund der durch die Verordnung entstehenden Compliance-Kosten von einem investitionshemmenden Effekt in Europa ausgehen, entgegnen andere, dass dies nur für Hochrisiko-KI-Anwendungen gilt und die Auswirkungen auf das Investitionsumfeld ohnehin nicht so bedeutend sein werden wie von manchen behauptet.

Viele zeichnen aufgrund des EU-KI-Gesetzes aber auch ein positives Szenario für Investitionen, darunter Invest Europe, der weltgrößte Verband privater Kapitalgeber, der die KI‑Verordnung in diesem Jahr ausdrücklich begrüßte.

3. Compliance-Prozesse müssen nicht gänzlich neu gedacht werden

Wie in der Rückmeldung des Johner Instituts zur EU-KI-Verordnung betont wurde, gibt es einige Überschneidungen zwischen den „neuen“ Vorschriften und den bereits bestehenden Verordnungen für den Healthcare-Sektor, zum Beispiel der Medizinprodukte-Verordnung (MDR) und der In-vitro-Diagnostika-Verordnung (IVDR). Diese regeln unter anderem Cybersecurity, Risikomanagement und Post-Market Surveillance (Überwachung eines Medizinprodukts nach dessen Inverkehrbringen), so wie das auch in der neuen EU-KI-Verordnung gefordert wird.

Die einfache Klarstellung, dass Hersteller jene neuen Vorschriften, die sich mit der MDR und der IVDR überschneiden, nicht extra adressieren müssen, würde den entstehenden Arbeitsaufwand zur Einhaltung der KI-Verordnung auf ein Minimum reduzieren. Somit wären zahlreiche Unternehmen bereits auf dem besten Weg zur Einhaltung der neuen Verordnung.

KI-Regulierung im Healthcare-Sektor – wie Sie Ihr Unternehmen darauf vorbereiten können

1. Entwickeln Sie ein „Risiko-Mindset“

Der einfachste Weg zur Einhaltung der neuen Verordnung ist ein proaktiver Ansatz hinsichtlich Risikomanagement und Compliance. Beginnen Sie damit, sich mit der neuen Rechtslage vertraut zu machen und sich zu überlegen, in welche Risikostufe Ihre Produkte und Lösungen fallen.

In erster Linie bedeutet das aber auch Folgendes: Anstatt Compliance-Vorschriften erst im Nachhinein zu erfüllen, also nachdem ein Produkt bereits entwickelt wurde, sollten alle KI-gestützten Technologien bereits im Vorhinein gemäß den festgelegten Normen konzipiert, entwickelt und getestet werden.

2. Nutzen Sie das richtige Know-how

Idealerweise verfügen Sie in Ihrem Unternehmen bereits über entsprechende Expert:innen, die Sie bei der Umsetzung der Compliance-Vorschriften unterstützt. Falls nicht, holen Sie sich das nötige Know-how von externen Partnern. Sie brauchen zum Beispiel jemanden, der Sie bei der Analyse sämtlicher potenzieller Risiken Ihres KI-Systems unterstützt – jemanden, der die Feinheiten wie etwa den Unterscheid zwischen dem tatsächlichen Risiko und dem Schweregrad potenzieller Schäden durch Ihre KI kennt. In der Folge kann Ihnen dieser Partner bei der Konzipierung eines konkreten Use Case mit möglichst geringem Risiko helfen, der Ihnen einen praktikablen Ansatzpunkt bietet.

Wir empfehlen Ihnen, firmenintern bzw. mit einer kleineren Lösung zu starten, um so einen Lernprozess zu durchlaufen und das für größere, fortschrittlichere Lösungen erforderliche Know-how aufzubauen. Mit der Zeit werden Sie bzw. Ihr Partner garantieren können, dass sämtliche von Ihnen hergestellten Produkte lange vor der eigentlichen Markteinführung die Anforderungen der EU-Verordnung erfüllen. Sobald Ihr konkreter Use Case ausgestaltet ist, können Sie mit den richtigen Systemen auch viele der nötigen Arbeitsschritte automatisieren und so den Gesamtprozess für komplexere Use Cases beschleunigen.

Die EU-KI-Verordnung – auch eine Chance für die Healthcare-Branche

Für Healthcare-Unternehmen bietet die EU-KI-Verordnung auch eine Chance: Sie kann dabei helfen, das Vertrauen der breiten Öffentlichkeit in KI zurückzugewinnen und qualitativ hochwertige Gesundheitsprodukte zu entwickeln. Diese Produkte können dann dazu eingesetzt werden, unseren Gesundheitszustand zu überwachen, Diagnosen zu stellen, Krankheitsursachen zu erforschen, neue Therapien zu entwickeln, Patient:innen zu klassifizieren und unseren Lebensstil positiv zu beeinflussen.

Ist Ihr Unternehmen bereit, diese Chance zu ergreifen? Wenn ja, dann unterstützen wir Sie gerne bei der Einführung KI-gestützter Lösungen, die Ihnen Wertschätzung, Vertrauen und neue Investitionen bringen werden.

Alles rund um die neue EU-KI-Verordnung sowie wertvolle Tipps unserer KI-Healthcare-Expert:innen finden Sie unter:

Responsible AI: Entwicklung ethischer KI-Anwendungen

EU-KI-Gesetz: Wie lässt sich Künstliche Intelligenz in Zukunft regulieren

Wie verändert der EU AI Act KI-basierte Innovation?