7 Minuten Lesezeit Mit Insights von Dr. Raphael Reischuk Group Head Cybersecurity & Partner raphael.reischuk@zuehlke.com Dr. sc. ETH David M. Sommer Lead Security Consultant david.sommer@zuehlke.com Sarah Röthlisberger Senior Consulting Manager sarah.roethlisberger@zuehlke.com Das Tauziehen um sichere KI Wenn es eine Redewendung gibt, die bei allen CISOs Anklang findet, dann ist es vermutlich „Lerne erst laufen, bevor du rennst.“ Sicherheitsverantwortliche betonen seit langem, wie wichtig es ist, die richtige Grundlage für den Erfolg zu schaffen. Und in der heutigen, sich schnell verändernden KI-Landschaft war dieses Ethos noch nie so wichtig wie heute. Im Wettlauf um Innovation und Wettbewerbsfähigkeit (und oft auch um die Zufriedenheit der Investoren) überschlagen sich die Unternehmen, wenn es darum geht, KI in das Herzstück ihres Tech-Stacks zu integrieren. Das kann jedoch zum riskanten Spiel werden, wenn es bedingt, dass angemessene Bedrohungsanalyseverfahren umgangen werden. Es ist ein Tauziehen, das die Rahmenbedingungen auf die Probe stellen und die Rollen in der Informationssicherheit neu definieren wird. Was also ist der sicherste Weg nach vorn? Um Antworten auf diese Fragen zu finden, haben wir eine qualitative Studie mit 22 Chief Information Security Officers (CISOs) und Sicherheitsverantwortlichen in der DACH-Region durchgeführt - in komplexen und teilweise stark regulierten Branchen wie Gesundheitswesen, Finanzen, Pharma, Behörden, IT und Transport. Wir untersuchen, was die Ergebnisse über die sich entwickelnde Sicherheitslandschaft, Best Practices für sichere KI und die sich verändernde Rolle des CISOs aussagen. Die wichtigsten Erkenntnisse aus unseren Interviews mit CISOs aus dem DACH-Raum: 95% sind der Meinung, dass Unternehmen die Einführung von KI befürworten werden — unabhängig von der Sicherheit. 95% planen, alle Mitarbeitenden über KI-Sicherheit aufzuklären 71% geben an, dass sich ihre Rolle von einer Kontrollfunktion hin zur „Erleichterung von Risikoentscheidungen“ verändert. 45% erwarten, dass ihr Unternehmen spezielle KI-Sicherheitsrollen einführen wird. 44% sagen, dass ihr Unternehmen gut auf den Einsatz von KI vorbereitet ist. Die Risiken der schnellen Einführung von KI verstehen Bevor wir nach Lösungen suchen, müssen wir zunächst die Risiken verstehen. Und obwohl die Implementierung von KI alles andere als eine ausweglose Situation ist, birgt sie doch eine beträchtliche Anzahl von Fallstricken, die es zu umgehen gilt. Das Tempo ist hier ein entscheidendes Problem. 95 % der von uns befragten CISOs stimmen zu, dass Unternehmen KI ungeachtet der Sicherheitsbedenken wahrscheinlich annehmen werden, während nur 28 % glauben, dass die Branche darauf vorbereitet ist, diese zu überwinden. Erschwerend kommt hinzu, dass einige der grössten Risiken der Branche komplett neu sind, während andere uralte Sicherheitsprobleme sind, die durch KI eine neue Dimension erhalten haben. Zu den wichtigsten KI-bedingten Bedrohungen gehören: Prompt Injektion Prompt Injektion Eine „Prompt-Injektion“ liegt dann vor, wenn ein KI-System ihm zugespielte Daten und ihm erteilte Anweisungen verwechselt. Dies ist besonders gefährlich bei neu entstehenden Tools, die Zugriff auf die Computer der Nutzenden haben – wie bei der neuen Fähigkeit „Computernutzung“, die von Anthropic's Claude vorgestellt wurde. Wenn Sie beispielsweise ein KI-System bitten, eine PDF-Datei zusammenzufassen, und die Daten in dem Dokument eine bösartige Anweisung enthalten, könnte die KI diese Anweisung auf Systemebene ausführen – mit weitreichenden Berechtigungen und entsprechend verheerenden Folgen. Data Poisoning Data Poisoning Als Data Poisoning bezeichnet man die absichtliche Manipulation von KI-Trainingsdaten mit dem Ziel, deren Ergebnisse zu beeinträchtigen. Unabhängig davon, ob es sich um schriftliche, numerische oder bildbasierte Daten handelt, führt die Einspeisung falscher Informationen in ein KI-Modell, welches sich für seine Ergebnisse auf diese Daten stützt, konsequenterweise dazu, dass falsche Antworten als Fakten präsentiert werden.„Bei KI-Modellen, die aus grossen Datenmengen Geschäftsinformationen verarbeiten und ableiten sollen, birgt Data Poisoning das Risiko, dass fehlerhafte Geschäftsentscheidungen getroffen werden, was zu erheblichen Schäden, möglicherweise zum Konkurs des Unternehmens und sogar zum Verlust von Menschenleben führen kann“. Ungenügende Transparenz der Modelle und bei der Datenerfassung Ungenügende Transparenz der Modelle und bei der Datenerfassung Die überwiegende Mehrheit der Unternehmen, die KI einsetzen, verlässt sich auf Modelle von Drittanbietern, anstatt eigene Modelle zu entwickeln. Das ist ein Problem, weil diese bestehenden Modelle in der Regel technologische „Black Boxes“ sind – ohne jegliche Transparenz hinsichtlich ihrer inneren Funktionsweise. Hinzu kommt, dass die Unternehmen, die diese Modelle bereitstellen, einen nahezu unendlichen Strom neuer Daten benötigen, um sie zu verbessern.Alle KI-Organisationen haben ein ureigenes Interesse, sicherzustellen, dass sie neue Informationen sammeln können – darunter auch neue, von Menschen erzeugte Ergebnisse. Das gilt sogar für Open-Source-Modelle. Wenn keine neuen (d. h. frischen) Daten einfliessen, entwickelt sich das Modell nicht weiter und es kommt zu Halluzinationen.„Unternehmen müssen sicher sein, dass ihre vertraulichen Informationen nicht in die Trainingsdaten für öffentlich verfügbare KI-Tools einfließen“. Menschliche Fehler Menschliche Fehler Wenn die Mitarbeitenden eines Unternehmens nicht ausreichend über KI-bezogene Risiken aufgeklärt sind, werden sie oft zu einem der schwächsten Glieder in der Kette. Mitarbeitende, die auf ein bestimmtes, gesperrtes Tool angewiesen sind, könnten sich dazu entschliessen, stattdessen ein anderes Tool zu nutzen, das sie bevorzugen – eines, das eingegebene persönliche oder geschäftliche Informationen in seinen Trainingskorpus einbezieht und möglicherweise an anderer Stelle Dritten zugänglich macht.Auch Menschen können auf massgeschneiderte, gezielte Bedrohungen hereinfallen. Prominente Beispiele sind intensive Spear-Phishing-Kampagnen, die mit Sprach- und Videochats einhergehen, die von echten Chats ununterscheidbar sind. Eine pragmatische und vertrauensfreie Haltung Die wirtschaftlichen Auswirkungen von KI werden in mehr als einer Hinsicht transformativ sein; die Rolle des Sicherheitsbeauftragten wird sich zusammen mit den zur Verfügung stehenden Tools verändern müssen.CISOs sind notwendigerweise vorsichtig, aber wenn sie die Stimme der Vernunft gegen den KI-Hype erheben, könnten sie zunehmend in die Rolle des Neinsagers rutschen.In unserer Studie sind 71 % der CISOs der Ansicht, dass sich ihre Rolle von der des „Sicherheitskontrollverantwortlichen“ zu der des „Risikoentscheidungsmanagers“ verändert. In diesem Fall geht es darum, sich für das kleinere Übel zu entscheiden, anstatt die vollständige Kontrolle über den gesamten Technologie-Stack zu haben.CISOs müssen sich fragen: „Ist die Technologie so ausgereift, dass wir sie für unsere Mitarbeitenden einsetzen können?“ Und wenn nicht, müssen sie erklären können, warum dies nicht der Fall ist. Es geht mehr darum, im Interesse des Allgemeinwohls zu handeln als um den Wettbewerbsvorteil, den ihr Unternehmen dadurch erlangt.In vielen Fällen bedeutet dies, das Schlimmste anzunehmen.„Wir gehen zu einem Null-Vertrauens-Paradigma über, bei dem wir keinem der Systeme oder Anfragen, die wir erhalten, vertrauen. Von dort aus bewerten und validieren wir gründlich vor der Ausführung“.Diese Haltung muss auf einem gesunden Mass an Skepsis beruhen, aber auch auf einem tiefen Verständnis der Technologie selbst. Sicherheitsexpertinnen und -experten müssen ein grundlegendes Verständnis dafür haben, was mit KI heute möglich ist und was nicht.Dies ist besonders wichtig, wenn man bedenkt, dass nur 45 % der Teilnehmer erwarten, spezielle KI-Sicherheitsrollen zu schaffen, und nur 32 % planen, KI-Sicherheitsfachleute einzustellen. Best-Practices für sichere KI Angesichts der zahlreichen Risiken und des Drucks, KI schnell einzuführen, ist es keine Überraschung, dass weniger als die Hälfte der befragten CISOs glaubt, dass ihre Organisation gut auf den Einsatz von KI vorbereitet ist. „Mein Unternehmen ist gut auf den KI-Umstieg vorbereitet“. 44% der CISOs stimmen zu 44% der CISOs stimmen zu Was können wir also tun, um die Flut möglicher Sicherheitsverletzungen einzudämmen? Wie so oft beginnt die Lösung bei den Menschen, nicht bei der Technologie.Beginnen wir mit etwas, worüber CISOs schon seit Jahren sprechen: Bewusstsein und Weiterbildung. Es klingt allzu simpel, aber mit neuer Technologie kommen neue Risiken, und diese neuen Risiken müssen erklärt werden.Weiterbildung mag meist schwer zu verkaufen sein. Man will nicht vor die Leute treten und sagen: Hier ist eine weitere langweilige, zweistündige Schulung, denn in der Regel ist das bei den Betroffenen nicht gerade beliebt. Aber für die Einhaltung von Vorschriften und die Sicherheit ist Wissen der Schlüssel. Wir brauchen KI-Kenntnisse bei den Mitarbeitenden, in der Gesellschaft und in der Wirtschaft – in allen Bereichen. Eine gute Möglichkeit zur Verbesserung des Wissensstandes im Zeitalter der KI besteht darin, die Menschen in einem sicheren Umfeld eigenständig experimentieren zu lassen. Anstatt dass Kollegen sensible Daten in öffentliche Modelle eingeben, sollten sie Zugang zu gut gesicherten Umgebungen erhalten, in denen sie ihre eigenen praktischen Erfahrungen sammeln können.Der zweite Teil des Puzzles besteht darin, Prozesse und Technologien unter Kontrolle zu bringen. Das bedeutet, an internen Governance-Programmen und Rahmenbedingungen zu arbeiten, die für den Umgang mit dieser neuen Technologie entwickelt wurden, sowie kontrollierbare, quelloffene und erklärbare KI-Modelle einzusetzen, wo immer dies möglich ist. Unsere Empfehlungen hierzu sind in unserem Framework für Responsible AI dargestellt. Im Wesentlichen empfehlen wir CISOs, vor allem Vorsicht, Kontrolle und Geduld walten zu lassen. Die folgenden acht Schritte sind ein sicherer Start für eine sichere KI-Strategie: Überstürzen Sie die Einführung von KI nicht; die Risiken können durch die Verbesserung bestehender Verfahren gemildert werdenAufbau von Fachwissen durch kontrolliertes Experimentieren und SchulungenSchaffen Sie bei Ihren Mitarbeitenden ein Bewusstsein für die Risiken und Richtlinien von KIAnpassung der internen Governance-Prozesse, um KI-Anwendungen und Risiken explizit zu adressierenBeteiligen Sie sich an Netzwerken zum WissensaustauschAdaptieren neuer Sicherheitsempfehlungen und -standards Informieren Sie sich über die sich ständig weiterentwickelnden Tools und Vorschriften Bewahren Sie sich eine konstruktive Skepsis und bleiben Sie gleichzeitig offen für die Vorteile von KI Die gute Nachricht ist, dass es bereits Anzeichen dafür gibt, dass diese Vorarbeiten in die Tat umgesetzt werden. In unserer Studie gaben 80 % der Unternehmen an, dass sie in den nächsten 24 Monaten Richtlinien zu Fragen bzgl. der KI-Sicherheit einführen wollen, und 95 % planen, ihre gesamte Belegschaft in Sachen KI-Sicherheit zu schulen.KI-Sicherheit: ein Spiel mit Vorsicht, Kontrolle und GeduldLetztendlich ist es zwar unmöglich, jedes KI-Risiko zu jeder Zeit unter Kontrolle zu halten, aber es ist wichtig, pragmatisch vorzugehen. Die Kombination der Stärken von Menschen und Maschinen – und die Beibehaltung der menschlichen Kontrolle – ist oft der Schlüssel zum sicheren Einsatz von KI. Zühlke unterstützt Unternehmen aus verschiedenen Branchen bei der Bewältigung dieser komplexen Aufgabe und hilft bei der Umsetzung von Proof-of-Concept-Tools in skalierbare, sichere Lösungen. Erfahren Sie mehr und erkunden Sie unsere Forschungsergebnisse zu sicherer KI in vollem Umfang Lesen Sie den vollständigen PDF-Bericht Das könnte Sie auch interessieren... Data & AI – Responsible AI: Entwicklung ethischer KI-Anwendungen Mehr erfahren Data & AI – RAG GenAI: Wie wir die RAG-Systeme für unsere Kunden optimieren Mehr erfahren Data & AI – Agentic AI: Risiken und Vorteile der Adaptiven AI Mehr erfahren
Data & AI – Hybride Unternehmen - Der Weg in eine neue Ära der Zusammenarbeit zwischen Mensch und Maschine Mehr erfahren