Künstliche Intelligenz (KI) hat in den letzten Jahren beeindruckende Fortschritte gemacht und prägt als Schlüsseltechnologie Wirtschaft und Gesellschaft entscheidend mit. Prominente Beispiele für ihre Anwendung finden sich in der medizinischen Diagnostik und zukünftig im autonomen Fahren. Aber auch in den Kundenservice Touchpoints kommt heute bereits KI zum Einsatz. Es liegt auf der Hand, dass KI und darauf basierende Geschäftsmodelle nur dann ihr volles Potenzial entfalten können, wenn KI nach hohen Qualitätsstandards entwickelt und gegen Risiken wirksam abgesichert wird. Ein Beispiel für ein solches KI-Risiko ist die ungerechtfertigte Diskriminierung von Nutzern bei der KI-gestützten Verarbeitung personenbezogener Daten wie z.B. zur Kreditvergabe oder Personalauswahl. Ein anderes Beispiel sind Fehlprognosen, die sich aus kleinen Störungen in den Eingabedaten ergeben, etwa wenn Anrufer anhand ihrer Stimme nicht korrekt erkannt und einem falschen Datensatz zugeordnet werden. Das Auftreten dieser neuen Risiken hängt eng mit der Tatsache zusammen, dass sich der Entwicklungsprozess von KI insbesondere von solchen, die auf maschinellem Lernen basieren, stark von der herkömmlichen Software unterscheidet. Denn das Verhalten von KI soll im Wesentlichen aus großen Datenmengen gelernt und nicht durch die Programmierung fester Regeln vorgegeben werden.
Die Frage der Vertrauenswürdigkeit von KI-Anwendungen ist daher von zentraler Bedeutung und Gegenstand zahlreicher Veröffentlichungen. Es besteht Einigkeit darüber, dass die oft abstrakt beschriebenen Anforderungen an vertrauenswürdige KI konkretisiert und greifbar gemacht werden müssen. Eine Herausforderung dabei ist, dass die konkreten Qualitätskriterien für eine KI stark vom Anwendungskontext und mögliche Maßnahmen zu ihrer Erfüllung wiederum stark von der eingesetzten KI-Technologie abhängen. So sind beispielsweise die Anforderungen an die Vertrauenswürdigkeit eines KI-Systems bei einer automatisierten Analyse von Kreditunterlagen anders zu bewerten als bei der automatisierten Beantwortung von Serviceanfragen im Customer Care.
Am Beispiel des „Leitfadens zur Gestaltung vertrauenswürdiger Künstlicher Intelligenz“ des Fraunhofer Instituts für Intelligente Analyse- und Informationssysteme (IAIS), sollen im Folgenden die wichtigsten Anforderungen an vertrauenswürdige KI dargestellt werden. Das IAIS empfiehlt die Prüfung anhand von sechs Dimensionen, in denen ethische, rechtliche und technische Aspekte Berücksichtigung finden.
Der Prüfpunkt Fairness stellt sicher, dass die KI nicht zu einer ungerechtfertigten Diskriminierung führt. Typische Anhaltspunkte hierfür wären unausgewogene (voreingenommene) Trainingsdaten oder die statistische Unterrepräsentation von Personengruppen, was zu einer verminderten Qualität der KI-Anwendung in Bezug auf diese Gruppen führen kann. Es ist zu verhindern, dass die KI unfaires beziehungsweise diskriminierendes Verhalten gegenüber den Nutzern lernt. Als Ausfluss des allgemeinen Gleichbehandlungsgrundsatzes muss eine KI sowohl ethisch als auch rechtlich dem Grundsatz der Fairness genügen. Damit ist das Verbot gemeint, gleiche soziale Umstände ungleich oder ungleiche gleich zu behandeln, es sei denn, ein abweichendes Vorgehen wäre sachlich gerechtfertigt. Dies bedeutet insbesondere, dass Personen nicht diskriminiert werden dürfen, weil sie zu einer Randgruppe oder benachteiligten Gruppe gehören.
Zum einen wird in diesem Prüfpunkt die Autonomie der KI und zum anderen des Nutzers kontrolliert. Einerseits ist hier zu beurteilen, welcher Grad an Autonomie für die Anwendung angemessen ist. Andererseits wird geprüft, ob der Nutzer durch die KI angemessen unterstützt wird und genügend Handlungsspielraum in der Interaktion mit der KI erhält. Der Vorrang menschlichen Handelns erfordert darüber hinaus, dass der Einzelne umfassend informiert und befähigt wird, kompetente Entscheidungen zu treffen. Insbesondere muss im Sinne der Wahrung der Nutzerautonomie sichergestellt werden, dass eine Delegation von Entscheidungsbefugnissen an eine KI explizit definiert und gewollt ist und nicht im Verborgenen stattfindet. Nutzer und Betroffene müssen über die Funktionsweise und die möglichen Risiken von KI sowie über ihre Rechte und Beschwerdemöglichkeiten informiert werden.
Unter diesem Punkt werden Aspekte der Verständlichkeit, Reproduzierbarkeit und Erklärbarkeit subsumiert. Es wird insbesondere untersucht, ob die grundsätzliche Funktionsweise der KI für den Nutzer hinreichend verständlich ist und ob die Ergebnisse nachvollziehbar und begründbar sind. In einigen Anwendungskontexten mag Transparenz eine untergeordnete Rolle spielen. So ist es beispielsweise für einen Nutzer einer KI-basierten Spracherkennung kaum wichtig zu wissen, warum die KI das jeweilige gesprochene Wort korrekt erkannt hat oder nicht. In diesem Kontext, in dem die (technische) Transparenz der KI nicht sicherheitskritisch ist, dient Transparenz in erster Linie der Stärkung der Vertrauenswürdigkeit der KI oder sorgt für eine höhere Zufriedenheit der Nutzer.
Bei der Prüfung der Verlässlichkeit geht es hauptsächlich um die Qualität der KI und deren Anfälligkeit für äußere Einflüsse. Ergebnisse der KI müssen bei kleinen Veränderungen der eingegebenen Daten konsistent bleiben. Es wird versucht, das Risiko fehlerhafter Vorhersagen zu minimieren. Aus technischer Sicht umfasst die Verlässlichkeit die Aspekte: Die Korrektheit der Ausgaben, die Abschätzung der Unsicherheiten, die Robustheit gegenüber gestörten oder manipulierten Eingaben sowie unerwarteten Situationen und nicht zuletzt das Abfangen von Fehlern.
Dieser Aspekt adressiert sowohl funktionale Sicherheitseigenschaften als auch den Schutz vor Angriffen und Manipulationen der KI. Die Maßnahmen beziehen sich in erster Linie auf die Einbettung der KI und umfassen u.a. klassische IT-Sicherheitsmethoden. In diesem Bereich geht es um das Risiko unbeabsichtigter Personen- oder Sachschäden, die durch eine Fehlfunktion oder ein Versagen der KI infolge mangelhafter IT-Sicherheit begünstigt oder sogar verursacht werden. Gefährdungen im Bereich Sicherheit können sich als Funktionsausfall oder starke Funktionsänderung der KI äußern.
Dem Schutz sensibler Daten im Zusammenhang mit der Entwicklung und dem Betrieb einer KI ist natürlich ebenfalls von großer Bedeutung. Dabei geht es sowohl um den Schutz personenbezogener Daten als auch um den Schutz von Geschäftsgeheimnissen. Dieser Bereich befasst sich mit den Risiken im Zusammenhang mit einer nicht DSGVO-konformen Verwendung personenbezogener Daten durch die KI sowie mit dem Risiko der Re-Identifizierung von Personen in einem Datensatz und mit Risiken, die dadurch entstehen, dass geschäftsrelevante Informationen durch die KI unerwünscht preisgegeben werden. Auch das Risiko, dass neue Hintergrundinformationen etwa zur Erstellung eines Personenbezugs entstehen oder dass sich die Anforderungen an die Verarbeitung von Daten durch die KI ändern.
Aufgrund ihrer Eigenschaften ist es möglich, dass KI in verschiedene Rechtspositionen eingreifen. Besonders häufig sind dies Eingriffe in die Privatsphäre oder das Recht auf informationelle Selbstbestimmung. So verarbeiten KI-Anwendungen häufig sensible Informationen, etwa persönliche oder private Daten wie Sprachaufnahmen, Fotos oder Videos. Daher muss sichergestellt sein, dass die einschlägigen Datenschutzbestimmungen, wie die DSGVO und das Bundesdatenschutzgesetz (BDSG), eingehalten werden.
KI-Anwendungen können jedoch nicht nur ein Risiko für die Privatsphäre des Einzelnen darstellen. Es können auch (Geschäfts-) Geheimnisse betroffen sein, die zwar keine personenbezogenen Daten im Sinne der DSGVO darstellen, aber dennoch rechtlich schützenswert sind. So können beispielsweise Maschinendaten – völlig unabhängig von der Frage, welche Person als Maschinenbediener tätig war – Informationen über die Prozessauslastung oder Fehlerquoten enthalten und damit sensible geschäftsbezogene Daten darstellen.
Abschließend ist es erforderlich, die Prüfungsergebnisse der einzelnen Aspekte untereinander ins Verhältnis zu setzen. So kann es zu Zielkonflikten der einzelnen Prüfpunkte kommen, die durch Abwägung der Restrisiken entsprechend zu würdigen sind.
Kommt man zu dem Ergebnis, dass unvertretbare Restrisiken bestehen, ist die KI als nicht vertrauenswürdig einzustufen.
Wurden keine unvertretbaren, aber dennoch nicht zu vernachlässigenden Restrisiken identifiziert, muss untersucht werden, inwieweit diese mit möglichen Zielkonflikten zwischen den Prüfkriterien zusammenhängen. Dabei ist insbesondere zu erörtern, inwieweit Restrisiken in einem Aspekt unvermeidbar sein können, um Risiken in einem anderen Punkt zu mindern. Wenn argumentiert wird, dass ein Restrisiko aufgrund eines Zielkonflikts nicht gemindert werden kann oder sollte, sollte die gewählte Priorisierung in Bezug auf den jeweiligen Zielkonflikt abgewogen und begründet werden.
Wurde in jedem Aspekt festgestellt, dass die Restrisiken vernachlässigbar sind, ist die KI als vertrauenswürdig zu bewerten.
Felix Prömel – Principal
junokai