7 Minuten Lesezeit Mit Insights von Dr. Raphael Reischuk Group Head Cybersecurity & Partner raphael.reischuk@zuehlke.com Dr. sc. ETH David M. Sommer Lead Security Consultant david.sommer@zuehlke.com Sarah Röthlisberger Senior Consulting Manager sarah.roethlisberger@zuehlke.com Das Tauziehen um sichere KI Wenn es eine Redewendung gibt, die bei allen CISOs Anklang findet, dann ist es vermutlich „Lerne erst laufen, bevor du rennst.“ Denn Sicherheitsverantwortliche betonen seit langem, wie wichtig es ist, die richtige Grundlage für den Erfolg zu schaffen. Und in der heutigen, sich schnell verändernden KI-Landschaft war diese Ünberzeugung noch nie so wichtig wie heute. Im Wettlauf um Innovation und Wettbewerbsfähigkeit (und oft auch um die Zufriedenheit der Investoren) überschlagen sich die Unternehmen dabei, KI in den Kern ihres Tech-Stacks zu integrieren. Das kann jedoch zum riskanten Spiel werden, wenn dabei eigentlich nötige Bedrohungsanalyseverfahren umgangen werden. Es ist ein Tauziehen, das die Rahmenbedingungen auf die Probe stellen und die Rollen in der Informationssicherheit neu definieren wird. Was also ist der sicherste Weg nach vorn? Um Antworten auf diese Fragen zu finden, haben wir eine qualitative Studie mit 22 Chief Information Security Officers (CISOs) und Sicherheitsverantwortlichen in der DACH-Region durchgeführt - in komplexen und teilweise stark regulierten Branchen wie Gesundheitswesen, Finanzen, Pharma, Behörden, IT und Transport. Wir haben analysiert, was die Ergebnisse über die sich entwickelnde Sicherheitslandschaft, Best Practices für sichere KI und die sich verändernde Rolle des CISOs aussagen. Die wichtigsten Erkenntnisse aus unseren Interviews mit CISOs aus dem DACH-Raum: 95% sind der Meinung, dass Unternehmen die Einführung von KI befürworten werden — unabhängig von der Sicherheit. 95% planen, alle Mitarbeitenden über KI-Sicherheit aufzuklären 71% geben an, dass sich ihre Rolle von einer Kontrollfunktion hin zur „Supportfunktion für Risikoentscheidungen“ verändert. 45% erwarten, dass ihr Unternehmen spezielle KI-Sicherheitsrollen einführen wird. 44% sagen, dass ihr Unternehmen gut auf den Einsatz von KI vorbereitet ist. Die Risiken der schnellen Einführung von KI verstehen Bevor wir nach Lösungen suchen, müssen wir zunächst die Risiken verstehen. Und obwohl die Implementierung von KI alles andere als eine ausweglose Situation ist, birgt sie doch eine beträchtliche Anzahl von Fallstricken, die es zu umgehen gilt. Geschwindigkeit ist hier ein entscheidendes Kriterium. 95 % der von uns befragten CISOs stimmen zu, dass Unternehmen KI vermutlich ungeachtet der Sicherheitsbedenken einführen werden; gleichzeitig sind nur 28 % der Meinung, dass die Branche gut auf bevorstehende Sicherheitsrisiken vorbereitet ist. Erschwerend kommt hinzu, dass einige der größten Risiken der Branche komplett neu sind, während andere uralte Sicherheitsprobleme weiter bestehen, aber durch KI eine neue Dimension erhalten haben. Zu den wichtigsten KI-bedingten Risiken gehören: Prompt Injection Prompt Injection Eine „Prompt Injection“ liegt vor, wenn ein KI-System Daten und Anweisungen verwechselt. Besonders gefährlich ist dies bei neuen Tools, die Zugang zu den Computern der Nutzenden haben - wie zum Beispiel bei der neuen Funktion „computer use“ von Anthropics Claude.Wenn Sie beispielsweise ein KI-System bitten, eine PDF-Datei zusammenzufassen, und die Daten in dem Dokument eine bösartige Anweisung enthalten, könnte die KI diese Anweisung auf Systemebene ausführen – mit weitreichenden Berechtigungen und entsprechend verheerenden Folgen. Data Poisoning Data Poisoning Als Data Poisoning bezeichnet man die absichtliche Manipulation von KI-Trainingsdaten mit dem Ziel, deren Ergebnisse zu beeinträchtigen. Unabhängig davon, ob es sich um schriftliche, numerische oder bildbasierte Daten handelt, führt die Einspeisung falscher Informationen in ein KI-Modell, das sich für seine Ergebnisse auf diese Daten stützt, konsequenterweise dazu, dass falsche Antworten als Fakten präsentiert werden.„Bei KI-Modellen, die aus großen Datenmengen Geschäftsinformationen verarbeiten und ableiten sollen, birgt Data Poisoning das Risiko, dass fehlerhafte Geschäftsentscheidungen getroffen werden, was zu erheblichen Schäden, möglicherweise zum Konkurs des Unternehmens und sogar zum Verlust von Menschenleben führen kann“. Ungenügende Transparenz der Modelle und Datenerfassung Ungenügende Transparenz der Modelle und Datenerfassung Die überwiegende Mehrheit der Unternehmen, die KI einsetzen, verlässt sich auf Modelle von Drittanbietern, anstatt eigene Modelle zu entwickeln. Das ist ein Problem, weil diese bestehenden Modelle in der Regel technologische „Black Boxes“ sind – ohne jegliche Transparenz hinsichtlich ihrer inneren Funktionsweise. Hinzu kommt, dass die Unternehmen, die diese Modelle bereitstellen, einen nahezu unendlichen Strom neuer Daten benötigen, um sie zu verbessern.Alle KI-Organisationen haben ein ureigenes Interesse, sicherzustellen, dass sie neue Informationen sammeln können – darunter auch neue, von Menschen erzeugte Ergebnisse. Das gilt sogar für Open-Source-Modelle. Wenn keine neuen (d. h. frischen) Daten einfließen, entwickelt sich das Modell nicht weiter und es kommt zu Halluzinationen.„Unternehmen müssen sicher sein, dass ihre vertraulichen Informationen nicht in die Trainingsdaten für öffentlich verfügbare KI-Tools einfließen“. Menschliche Fehler Menschliche Fehler Wenn die Mitarbeitenden eines Unternehmens nicht ausreichend über KI-bezogene Risiken aufgeklärt sind, werden sie oft zu einem der schwächsten Glieder in der Kette. Mitarbeitende, die auf ein bestimmtes, gesperrtes Tool angewiesen sind, könnten sich dazu entschließen, stattdessen ein anderes Tool zu nutzen, das sie bevorzugen – eines, das eingegebene persönliche oder geschäftliche Informationen in sein Training einbezieht und möglicherweise an anderer Stelle Dritten zugänglich macht.Auch Menschen können auf maßgeschneiderte, gezielte Bedrohungen hereinfallen. Prominente Beispiele sind intensive Spear-Phishing-Kampagnen, die mit Sprach- und Videochats einhergehen, die von echten Chats ununterscheidbar sind. Bleiben Sie pragmatisch und misstrauisch Die wirtschaftlichen Auswirkungen von KI werden in mehr als einer Hinsicht transformativ sein; die Rolle des Sicherheitsbeauftragten wird sich zusammen mit den zur Verfügung stehenden Tools verändern müssen.CISOs sind notwendigerweise vorsichtig, aber wenn sie die Stimme der Vernunft gegen den KI-Hype erheben, könnten sie zunehmend in die Rolle des Neinsagers rutschen.In unserer Studie sind 71 % der CISOs der Ansicht, dass sich ihre Rolle von der des „Sicherheitskontrollverantwortlichen“ zu der des „Risikoentscheidungsmanagers“ verändert. In diesem Fall geht es darum, sich für das kleinere Übel zu entscheiden, anstatt die vollständige Kontrolle über den gesamten Technologie-Stack zu haben.CISOs müssen sich fragen: „Ist die Technologie so ausgereift, dass wir sie für unsere Mitarbeitenden einsetzen können?“ Und wenn nicht, müssen sie erklären können, warum dies nicht der Fall ist. Es geht mehr darum, im Interesse des Allgemeinwohls zu handeln als um den Wettbewerbsvorteil, den ihr Unternehmen dadurch erlangt.In vielen Fällen bedeutet dies, das Schlimmste anzunehmen.„Wir gehen zu einem Null-Vertrauens-Paradigma über, bei dem wir keinem der Systeme oder Anfragen, die wir erhalten, vertrauen. Von dort aus bewerten und validieren wir gründlich vor der Ausführung“.Diese Haltung muss auf einem gesunden Maß an Skepsis beruhen, aber auch auf einem tiefen Verständnis der Technologie selbst. Sicherheitsexpertinnen und -experten müssen ein grundlegendes Verständnis dafür haben, was mit KI heute möglich ist und was nicht.Dies ist besonders wichtig, wenn man bedenkt, dass nur 45 % der Teilnehmer erwarten, spezielle KI-Sicherheitsrollen zu schaffen, und nur 32 % planen, KI-Sicherheitsfachleute einzustellen. Best Practices für sichere KI Angesichts der zahlreichen Risiken und des Drucks, KI schnell einzuführen, ist es keine Überraschung, dass weniger als die Hälfte der befragten CISOs glaubt, dass ihre Organisation gut auf den Einsatz von KI vorbereitet ist. „Mein Unternehmen ist gut auf den KI-Umstieg vorbereitet“. 44% der CISOs stimmen zu 44% der CISOs stimmen zu Was können wir also tun, um die Flut möglicher Sicherheitsverletzungen einzudämmen? Wie so oft beginnt die Lösung bei den Menschen, nicht bei der Technologie.Beginnen wir mit etwas, worüber CISOs schon seit Jahren sprechen: Sensibilisierung und Weiterbildung. Es klingt allzu simpel, aber mit neuer Technologie kommen neue Risiken, und diese neuen Risiken müssen erklärt werden.Weiterbildung mag meist schwer zu verkaufen sein. Niemand möchte vor Menschen treten und sagen: Hier ist eine weitere langweilige, zweistündige Schulung, denn in der Regel ist das bei den Betroffenen nicht gerade beliebt. Aber für die Einhaltung von Vorschriften und die Sicherheit ist Wissen der Schlüssel. Wir brauchen KI-Kenntnisse bei den Mitarbeitenden, in der Gesellschaft und in der Wirtschaft – in allen Bereichen. Eine gute Möglichkeit zur Verbesserung des Wissensstandes im Zeitalter der KI besteht darin, die Menschen in einem sicheren Umfeld eigenständig experimentieren zu lassen. Anstatt sensible Daten in öffentliche Modelle einzugeben, sollten Mitarbeitende Zugang zu gut gesicherten Umgebungen erhalten, in denen sie ihre eigenen praktischen Erfahrungen sammeln können.Der zweite Teil des Puzzles besteht darin, Prozesse und Technologien unter Kontrolle zu bringen. Das bedeutet, an internen Governance-Programmen und Rahmenbedingungen zu arbeiten, die für den Umgang mit dieser neuen Technologie entwickelt wurden, sowie kontrollierbare, quelloffene und erklärbare KI-Modelle einzusetzen, wo immer dies möglich ist. Unsere Empfehlungen hierzu sind in unserem Framework für Responsible AI dargestellt. Im Wesentlichen empfehlen wir CISOs, vor allem Vorsicht, Kontrolle und Geduld walten zu lassen. Die folgenden acht Schritte sind ein sicherer Start für eine sichere KI-Strategie: Überstürzen Sie die Einführung von KI nicht; die Risiken können durch die Verbesserung bestehender Verfahren gemildert werden.Bauen Sie Fachwissen durch kontrolliertes Experimentieren und Schulungen auf.Sensibilisieren Sie Ihre Mitarbeitenden für die Risiken und Richtlinien von KI.Passen Sie interne Governance-Prozesse an, um KI-Anwendungen und Risiken explizit zu adressieren.Beteiligen Sie sich an Netzwerken zum Wissensaustausch.Adaptieren Sie neue Sicherheitsempfehlungen und -standards.Informieren Sie sich über die sich ständig weiterentwickelnden Tools und Vorschriften.Bewahren Sie sich eine konstruktive Skepsis und bleiben Sie gleichzeitig offen für die Vorteile von KI. Die gute Nachricht ist: Es gibt bereits die Tendenz, dass diese Empfehlungen in die Tat umgesetzt werden. In unserer Studie gaben 80 % der Unternehmen an, dass sie in den nächsten 24 Monaten Richtlinien zu Fragen bzgl. der KI-Sicherheit einführen wollen, und 95 % planen, ihre gesamte Belegschaft in Sachen KI-Sicherheit zu schulen.KI-Sicherheit: ein Spiel mit Vorsicht, Kontrolle und GeduldLetztendlich ist es zwar unmöglich, jedes KI-Risiko zu jeder Zeit unter Kontrolle zu halten, aber es ist wichtig, pragmatisch vorzugehen. Die Kombination der Stärken von Menschen und Maschinen – und die Beibehaltung der menschlichen Kontrolle – ist oft der Schlüssel zum sicheren Einsatz von KI. Zühlke unterstützt Unternehmen aus verschiedenen Branchen bei der Bewältigung dieser komplexen Aufgabe und hilft bei der Umsetzung von Proof-of-Concept-Tools in skalierbare, sichere Lösungen. Erfahren Sie mehr und erkunden Sie unsere Forschungsergebnisse zu sicherer KI in vollem Umfang Lesen Sie den vollständigen PDF-Bericht Das könnte Sie auch interessieren... Data & AI – Responsible AI: Entwicklung ethischer KI-Anwendungen Mehr erfahren Alle Branchen – RAG GenAI: Wie wir die RAG-Systeme für unsere Kunden optimieren Mehr erfahren Data & AI – Agentic AI: Risiken und Vorteile der Adaptiven AI Mehr erfahren
Versicherungen – Generative AI zur Bewältigung von Herausforderungen in der Versicherungsbranche Mehr erfahren