Künstliche Intelligenz ist angreifbar

Künstliche Intelligenz ist ein wesentliches Hilfsmittel, um Cyberangriffe zu entdecken. Sie kann aber auch Gegenstand von Cyberangriffen werden. Wobei solche Angriffe umso bedrohlicher sind, je wichtiger die Rolle ist, die die Künstliche Intelligenz übernimmt. Deshalb ist es wichtig, dass jene, die Künstliche Intelligenz nutzen, auch verstehen, wie sie funktioniert. Nur so kann man sich wappnen gegen Angriffe, die sich die «intelligentesten» Teile des IT-Systems konzentrieren.

Künstliche Intelligenz (KI) kann viele Formen annehmen. Einst verstand man unter KI regelbasierte Systeme. Sie basierten auf für den Menschen nachvollziehbaren Wissensrepräsentationen. Heute verwendet die KI primär komplexe Wissensrepräsentationen, die nicht einfach und direkt für Menschen lesbar sind und auch mit Hilfe von Maschinen nicht in Bezug auf die Qualität ihrer Substanz bewertet werden können. Einziger Massstab ist die Qualität ihrer Entscheide.

Unter anderem wird KI auch genutzt, um Angriffe besser zu erkennen: das heisst um Angriffe frühzeitig zu erkennen ohne dabei allzu viele harmlose Abläufe als potentielle Angriffe zu taxieren. Der traditionelle Ansatz zur Angriffsdetektion sieht vor, dass im System über Architekturelemente eine relativ hohe Ordnung erzeugt wird, so dass «das Böse» aus dem Rahmen und somit schnell auffällt. Mit KI ist die bewusste Einschränkung der Vielfalt der stattfindenden Abläufe weniger wichtig. Denn damit können auch in ungeordneter Vielfalt Muster erkannt werden, die auf Cyber-Angriffe hinweisen.

Problematisch ist nur, dass sich auch Angriffe direkt gegen die KI richten können. Und zwar sowohl im Fall, dass es zur Identifizierung von Cyberangriffen genutzt wird als auch im Fall, dass es für andere geschäftswichtige Aufgaben eingesetzt wird. Je kritischer der Anwendungsbereich ist, desto gefährlicher sind dabei naturgemäss die Angriffe.

Angriffe können sich einerseits direkt die KI-Instrumente richten und sie schwächen. Anderseits können Angriffe identifizierte Schwächen sich bewusst zu nutzen machen und das KI System geschickt täuschen, so dass es falsche Entscheide trifft.

Wenn die KI auf Lernprozessen beruht, kann der Angreifer die Lerndaten zum Lernen so manipulieren, dass eine schwache KI-Lösung resultiert. Er kann aber auch versuchen, die Datenverarbeitung im KI-Instrument zu stören. Dazu kommt, dass auch ohne Angriffe, Teile des Systems physisch bedingt ausfallen können. Weiters können bei fortgesetztem Lernen einst sehr gut funktionierende KI-Werkzeuge wieder viel schlechter werden. All dies ist in der Praxis oft sehr schwer zu erkennen – insbesondere dann nicht, wenn kontextbedingt die Systeme auch im besten Fall Fehler machen.

Um einen erfolgreichen Angriff auf das KI-Instrument zu valorisieren, muss der Angreifer anschliessend das System täuschen. Erkennt er die Schwächen eines noch gar nicht angegriffenen Systems, so kann er auch direkt durch Täuschen des Systems angreifen. Vorstellbar sind auch stochastisch konstruierte Angriffsserien im Fall, dass zwar systemische Defizite, aber keine konkreten Defizite konstruiert wurden. In vielen Fällen entsteht durch das Täuschen grosser Schaden.

Wer also KI einsetzt, sollte sich bewusst sein, dass er damit ein besonders attraktives Ziel für mögliche Angreifer schafft. Darum ist es wichtig, das Funktionieren des KI-Systems zu verstehen und Angriffsmöglichkeiten im Vorhinein zu analysieren! Der positive Nebeneffekt einer solchen Analyse ist, dass auch klar wird, welche Gefahren durch nicht bewusst geschaffene Dysfunktionalitäten entstehen können. Um es plakativ zu formulieren: So wie es nützlich ist, zu überprüfen, ob Mitarbeitende fit für Aufgaben sind und gewillt, im Interesse der Organisation zu handeln, so sind analoge Prüfungen auch für den KI-Einsatz erfolgskritisch!

AUTOR/AUTORIN: Reinhard Riedl

Reinhard Riedl leitet das BFH-Zentrum Digital Society und gibt das Online-Magazin SocietyByte heraus. Er war Präsident der Schweizerischen Informatikgesellschaft sowie der Internationalen Gesellschaft für Neue Musik Bern IGNM.

PDF erstellen

Ähnliche Beiträge

Es wurden leider keine ähnlichen Beiträge gefunden.

Künstliche Intelligenz ist angreifbar

Künstliche Intelligenz ist ein wesentliches Hilfsmittel, um Cyberangriffe zu entdecken. Sie kann aber auch Gegenstand von Cyberangriffen werden. Wobei solche Angriffe umso bedrohlicher sind, je wichtiger die Rolle ist, die die Künstliche Intelligenz übernimmt. Deshalb ist es wichtig, dass jene, die Künstliche Intelligenz nutzen, auch verstehen, wie sie funktioniert. Nur so kann man sich wappnen gegen Angriffe, die sich die «intelligentesten» Teile des IT-Systems konzentrieren.

Künstliche Intelligenz (KI) kann viele Formen annehmen. Einst verstand man unter KI regelbasierte Systeme. Sie basierten auf für den Menschen nachvollziehbaren Wissensrepräsentationen. Heute verwendet die KI primär komplexe Wissensrepräsentationen, die nicht einfach und direkt für Menschen lesbar sind und auch mit Hilfe von Maschinen nicht in Bezug auf die Qualität ihrer Substanz bewertet werden können. Einziger Massstab ist die Qualität ihrer Entscheide.

Unter anderem wird KI auch genutzt, um Angriffe besser zu erkennen: das heisst um Angriffe frühzeitig zu erkennen ohne dabei allzu viele harmlose Abläufe als potentielle Angriffe zu taxieren. Der traditionelle Ansatz zur Angriffsdetektion sieht vor, dass im System über Architekturelemente eine relativ hohe Ordnung erzeugt wird, so dass «das Böse» aus dem Rahmen und somit schnell auffällt. Mit KI ist die bewusste Einschränkung der Vielfalt der stattfindenden Abläufe weniger wichtig. Denn damit können auch in ungeordneter Vielfalt Muster erkannt werden, die auf Cyber-Angriffe hinweisen.

Problematisch ist nur, dass sich auch Angriffe direkt gegen die KI richten können. Und zwar sowohl im Fall, dass es zur Identifizierung von Cyberangriffen genutzt wird als auch im Fall, dass es für andere geschäftswichtige Aufgaben eingesetzt wird. Je kritischer der Anwendungsbereich ist, desto gefährlicher sind dabei naturgemäss die Angriffe.

Angriffe können sich einerseits direkt die KI-Instrumente richten und sie schwächen. Anderseits können Angriffe identifizierte Schwächen sich bewusst zu nutzen machen und das KI System geschickt täuschen, so dass es falsche Entscheide trifft.

Wenn die KI auf Lernprozessen beruht, kann der Angreifer die Lerndaten zum Lernen so manipulieren, dass eine schwache KI-Lösung resultiert. Er kann aber auch versuchen, die Datenverarbeitung im KI-Instrument zu stören. Dazu kommt, dass auch ohne Angriffe, Teile des Systems physisch bedingt ausfallen können. Weiters können bei fortgesetztem Lernen einst sehr gut funktionierende KI-Werkzeuge wieder viel schlechter werden. All dies ist in der Praxis oft sehr schwer zu erkennen – insbesondere dann nicht, wenn kontextbedingt die Systeme auch im besten Fall Fehler machen.

Um einen erfolgreichen Angriff auf das KI-Instrument zu valorisieren, muss der Angreifer anschliessend das System täuschen. Erkennt er die Schwächen eines noch gar nicht angegriffenen Systems, so kann er auch direkt durch Täuschen des Systems angreifen. Vorstellbar sind auch stochastisch konstruierte Angriffsserien im Fall, dass zwar systemische Defizite, aber keine konkreten Defizite konstruiert wurden. In vielen Fällen entsteht durch das Täuschen grosser Schaden.

Wer also KI einsetzt, sollte sich bewusst sein, dass er damit ein besonders attraktives Ziel für mögliche Angreifer schafft. Darum ist es wichtig, das Funktionieren des KI-Systems zu verstehen und Angriffsmöglichkeiten im Vorhinein zu analysieren! Der positive Nebeneffekt einer solchen Analyse ist, dass auch klar wird, welche Gefahren durch nicht bewusst geschaffene Dysfunktionalitäten entstehen können. Um es plakativ zu formulieren: So wie es nützlich ist, zu überprüfen, ob Mitarbeitende fit für Aufgaben sind und gewillt, im Interesse der Organisation zu handeln, so sind analoge Prüfungen auch für den KI-Einsatz erfolgskritisch!

AUTOR/AUTORIN: Reinhard Riedl

Reinhard Riedl leitet das BFH-Zentrum Digital Society und gibt das Online-Magazin SocietyByte heraus. Er war Präsident der Schweizerischen Informatikgesellschaft sowie der Internationalen Gesellschaft für Neue Musik Bern IGNM.

PDF erstellen

Ähnliche Beiträge

Es wurden leider keine ähnlichen Beiträge gefunden.

0 Kommentare

Dein Kommentar

An Diskussion beteiligen?
Hinterlasse uns Deinen Kommentar!

Schreiben Sie einen Kommentar

Ihre E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.