ISM Blog

Wird Verantwortung künftig in der Black-Box von KI begraben? (Teil 3)

Der letzte Teil in der dreiteiligen Serie (Teil 1, Teil 2) thematisiert Fragen nach der Haftbarkeit von KI-Methoden. Wenn diese aufgeworfen werden, wird es heikel. Beispiel Anlagenberatung (Robo-Advisor): Grundlage des deutschen Haftungsrechts ist eine Pflichtverletzung, welche zu einem Schaden führt.

Prof. Dr. Marcus Becker, Leiter der Masterstudiengänge Business Intelligence & Date Science (Präsenzstudium) sowie Applied Business Data Science (Fernstudium), stellte zusammen mit seinem Team bei Analysen fest, dass die Intransparenz algorithmischer Systeme die rechtliche Prüfung der Haftungsregeln erschwert.

Das Kausalitätsproblem bei KI Anwendungen / Teil 3

Wer die Frage nach dem Verschulden bei KI gesteuerten Anlageberatungen stellt, kommt kaum weiter. Warum ist das so?

Bei Black Box Algorithmen ist die Frage, wie Entscheidungen getroffen werden, häufig nur schwer zu beantworten (sog. Opazitätsrisiko). Selbst dem Entwickler ist es oft nicht mehr möglich, den Fehler zu finden oder zu bestimmen. Es liegt ein Kausalitätsproblem vor. Das bereitet Anspruchsstellern große Probleme. Pflichtverletzungen lassen sich nicht beweisen, also bleibt unklar, wer in solchen Konstellationen die Beweislast trägt. Denn in KI-Systemen fehlt eine eigenständige Rechtspersönlichkeit. Nach aktueller Rechtslage muss man daher auf das Fehlverhalten des Nutzers, der sich des Black Box Algorithmus bedient, nach §280 Abs. 1 BGB verweisen.

Demnach würde der Nutzer selbst für Schaden aufkommen müssen, der ihm durch KI entstanden ist. Der Erfinder einer KI-Applikation aber bleibt nach dieser Auffassung außen vor, sofern ihm nicht grobfahrlässige Fehlentscheidungen nachgewiesen werden können.

Hat man die Haftungsfrage vergessen, vernachlässigt oder Schritt für Schritt – mit Hoffnung auf Kosteneinsparungen – ausgeblendet?

Technische Innovation und Anpassung der Rechtsprechung laufen nur selten im Einklang. Wie es häufig so ist, versuchen Juristen zunächst die Frage nach der Pflichtverletzung mit der bereits vorhandenen Rechtsprechung zu beantworten. Irgendwann ist man dann an einem Punkt, wo die aktuelle Rechtsprechung nicht mehr eindeutig greift oder zumindest widersprüchlich ausgelegt werden kann. Erst dann reagiert der Gesetzgeber mit entsprechenden Anpassungen.


„Selbst dem Entwickler ist es oft nicht mehr möglich, den Fehler zu finden oder zu bestimmen,“ weiß Wirtschaftsinformatiker Prof. Dr. Markus Becker aus seinen Untersuchungen.

Ein erster Schritt in die richtige Richtung sind die in dieser Woche von der EU Kommission erlassenen Gesetzesentwürfe, dem sog. EU AI Act. Grundsätzlich ist eine einheitliche KI-Regelung begrüßenswert, ob sie jedoch die Risiken beim Einsatz von KI verringern, bleibt offen. Interessant dürfte sein, ob zukünftige KI-Systeme, wie Artificial general intelligence, über eine eigenständige Rechtspersönlichkeit verfügen.

Können die Kreatoren der KI-Instrumente im Anlagenbereich hier Abhilfe schaffen oder hat sich deren Instrument „verselbständigt“?

Von einer Verselbständigung solcher sogenannten Robo-Advisor würde ich noch nicht sprechen. Wie ich bereits 2021 nahelegte, werden Machine Learning Algorithmen in der automatisierten Vermögensberatung noch gar nicht so häufig angewendet, wie man denken mag (Becker, M., Beketov, M., & Wittke, M. (2021). Machine Learning in Automated Asset Management Processes 4.1. Die Unternehmung, 75(3), 411-431).

Das Kausalitätsproblem bei KI Anwendungen / Teil 3

Im Grunde genommen bewegen wir uns hier auch in einem hochregulierten Bereich. Nach den Grundsätzen der EU-Richtlinie zur Harmonisierung der Finanzmärkte MIFID-II müssen Anlageberatungen, egal ob menschlich oder maschinell, immer dem „Suitability“-Prinzip genügen, also dem Prinzip der Geeignetheit. Man kann demnach Rentnern also nicht ohne weiteres „Junk Bonds“ verkaufen.

Ohne Transparenzalgorithmen (XAI) aber handeln die Algorithmen schlicht mit einer gewissen Willkür untereinander. Das kann mitunter sogar zu „Flash Crashes“ führen, wie die Vergangenheit gezeigt hat. Um hier nur zwei Beispiele zu nennen: Algo Trader Softwares haben mitunter den Börsenkrach am 19. Oktober 1987, den sog. „Schwarzen Montag“, begünstigt. Ein weiteres Beispiel ist der 6. Mai 2010. An diesem Tag fiel der Dow Jones innerhalb von acht Minuten um über 1000 Punkte. Ausgelöst wurde dieser Crash durch eine einfache Sell-Order des Handelshauses Waddell & Reed. Das kann man noch nicht einmal als KI bezeichnen, sondern war einfach eine automatisierte Verkaufsvereinbarung, die ab einer gewissen Schwelle eingeläutet wurde.

Das Kausalitätsproblem bei KI Anwendungen / Teil 3

Meine Prognose ist: Wenn undurchsichtige Back Box Algorithmen ohne jegliche Validierung auf die Finanzmärkte losgelassen werden, könnten sich Flash Crashes in immer kürzeren Abständen wiederholen. Zum Glück gibt es bereits Gesetze, die es erlauben, bestimmte Finanzinstrumente vom Handel auszuschließen (vgl. § 73 WpHG). Das hält das Kursrutschpotential in Grenzen.

Wie könnte eine Lösung auch für den KI gesteuerten Anlagebereich mit Robo-Advisorn aussehen?

Es gibt eine Vielzahl von vorimplementierten Erklärungsmodellen (wie z.B. LIME und SHAP), die quasi universal, anwendbar sind. Allerdings nutzen die Firmen diese kaum, auch weil sie nicht gesetzlich vorgeschrieben sind.

Durch die „Suitability“-Forderung gemäß der oben genannten MIFID II-Richtlinie ist meines Erachtens der Einsatz von Transparenzalgorithmen andererseits zwingend notwendig. Sie würden das Nutzervertrauen erhöhen, Assoziationen von Input und Output herstellen, sowie verlässliche und faire RA-Systeme erzeugen, die zudem im Einklang mit aktuellen Datenschutzbestimmungen stehen und somit die Identität des Nutzers wahren.

Ohne Erklärbarkeit durch Transparenzalgorithmen kann keine Interpretation und somit auch keine Validierung seitens des prüfenden Fachpersonals vorgenommen werden.

Dem Recht auf Erklärung weicht in der Praxis bisweilen das Recht auf Vergessen – was halten Sie dagegen?

Unsere Empfehlungen zum Einsatz von Transparenzalgorithmen erstrecken sich hierbei auf fünf Gütekriterien: Vertrauen, Assoziationen, Verlässlichkeit, Fairness und Identität.


  1. Vertrauen wird generiert indem Entwickler die Anzahl der falsch-positiven Vorhersagen minimieren. Falsch-Positive Vorhersagen, könnten z.B. dazu führen, dass risikoaverse Investoren fälschlicherweise als risikofreudig eingestuft werden.
  2. Assoziationen werden benötigt um plausible und unplausible Korrelationen zwischen den verschiedenen Input-Output-Größen von Black Box Algorithmen voneinander zu trennen. Diese können dann auf ökonomische Glaubwürdigkeit hin überprüft werden. So müsste ein Robo-Advisor-Anbieter z.B. erklären, warum der Algorithmus in Phasen des konjunkturellen Aufschwungs den Anteil von Aktien-ETFs nicht wieder erhöht.
  3. Verlässlichkeit der Systeme stellt sicher, dass die Robustheit eines Modells in unterschiedlichen Datenumgebungen geprüft wird. Für Robo-Advisor bedeutet das, dass sie auch in unterschiedlichen Marktlagen „gute“, i.e. der Rendite-Risikopräferenzen der Investoren entsprechenden, Anlageentscheidungen treffen.
    Interessant wird es zu analysieren, wie sich Robo- Advisor durch die letzten Krisenzeiten bewegt haben.
  4. Zuletzt sollte jedes Anlagemodell auch ethisch vertretbar sein, d. h. es sollte bei Anlage nicht zwischen Religion, Geschlecht, Klasse und Rasse unterschieden werden. Das nennen wir Fairness.
  5. Schließlich sollte der Black Box Algorithmus die Identitäten der Investoren wahren, d.h. es dürfen keine Rückschlüsse von den Anlagemethoden auf eine Person gezogen werden.

Ist eine Gefährdungshaftung durchführbar?

Geschädigte Investoren von KI gesteuerten Anlageberatungen können allenfalls eine Klage auf Schadensersatz wegen Pflichtverletzung gegenüber den Finanzdienstleistern geltend machen. Es lässt sich darüber streiten, ob der Betreiber des Robo-Advisors für einen Programmierfehler verantwortlich gemacht werden kann. Insbesondere bei Black Box Algorithmen, die nicht mehr auf expliziten Programmierlogiken wie einfachen Wenn-Dann-Beziehungen bestehen, ist es sehr schwer hier einen „tatsächlichen“ Fehler in der Implementierung ausfindig zu machen. Der Fehler könnte lediglich in der nicht sachgerechten Steuerung der Inputparameter liegen.

Wenn eine Haftung des Herstellers aufgrund einer fehlenden Rechtsgutverletzung ausscheidet, wäre die Einführung einer eigenständigen Gefährdungshaftung des Betreibers von Robo-Advisorn im Rahmen der Produkthaftung begrüßenswert.


Erfahre mehr in deinem kostenlosen Infomaterial

Du möchtest dich zu Hause in Ruhe über unsere Bachelor- und Master-Studiengänge informieren? Fülle einfach das Formular aus und lade dir kostenlos und unverbindlich das Infomaterial. Zusätzlich schicken wir es dir auch gerne per Post.

Jetzt Infos anfordern




Du hast Fragen zur Hochschule oder zum Studium?
Wir sind für dich da!

Schicke uns gerne eine Nachricht von Montag bis Freitag. Wir sind immer werktags von 10:00 bis 15:00 Uhr (MEZ) für dich da.

Vereinbare ein Beratungsgespräch mit uns. Informiere dich jederzeit, unverbindlich und individuell!

Die International School of Management (ISM) ist staatlich anerkannt und belegt seit Jahren Top Plätze in Hochschul-Rankings

Eine der besten privaten Hochschulen Deutschlands
Logo Universum
Bestnoten für internationale Ausrichtung & Praxisbezug
Ausgezeichnete Ergebnisse im globalen Multirank