Marie Theres Thomas*
Im Namen des Bucerius Alumni e.V. hat Philipp Etzkorn (Alumni der Law School im Jahrgang 2012) die Vortragsreihe „AI-Lectures at Bucerius“ („AI-LaB“) ins Leben gerufen. Diese verfolgt das Ziel, sowohl ein Verständnis für die Technologien hinter dem Schlagwort der Künstlichen Intelligenz (KI)1 zu vermitteln als auch ein Bewusstsein dafür zu schaffen, wie vielfältig die Einflüsse intelligenter Systeme auf das Recht sind: Nicht nur die offensichtlich eng verbundenen Rechtsgebiete, wie etwa das IT- und Datenschutzrecht, sind betroffen. Vielmehr kann sich nahezu kein Rechtsgebiet dem Einfluss intelligenter Systeme entziehen. Dieser Bericht umfasst die ersten drei Vorträge der insgesamt siebenteiligen Reihe.
A. Einleitung
Um einem möglichst breiten Interessentenkreis die Teilnahme an den Vorträgen zu ermöglichen und insbesondere die Alumni außerhalb Hamburgs nicht auszuschließen, wurde bei der Organisation auf ein hybrides Veranstaltungsformat gesetzt. Klarer Vorteil der Präsenzteilnahme war die Möglichkeit, im Anschluss an den jeweiligen Vortrag bei Brezeln und Wein den fachlichen Diskurs zu vertiefen und Kontakte zu knüpfen. Dies war dadurch besonders reizvoll, dass die Teilnahme nicht auf Alumni oder Angehörige der Bucerius Law School begrenzt, sondern öffentlich war. Die drei Vorträge hatten insgesamt über 150 Teilnehmerinnen und Teilnehmer worunter einige Professoren, Herausgeber von Standardwerken und Praktikergrößen waren.
B. Vorträge
I. Schwache KI – Starke Implikationen?
Technische Grundlagen für den rechtlichen Umgang mit KI
Den ersten Vortrag der Reihe mit dem Titel „Schwache KI – starke Implikationen? Technische Grundlagen für den rechtlichen Umgang mit KI“ am 07.10.2021 hielt der promovierte Computerlinguist Dr. Aljoscha Burchardt. Burchardt ist Principal Researcher, Research Fellow und stellvertretender Standortsprecher des Deutschen Forschungszentrums für Künstliche Intelligenz (DFKI GmbH) in Berlin. Zudem war er als Sachverständiger Mitglied der Enquete-Kommission „Künstliche Intelligenz“ des Deutschen Bundestages.
Sein Vortrag diente dem Zweck, die technischen Grundlagen für die folgenden sechs juristischen Vorträge zu legen. Entsprechend leitete Etzkorn den Abend mit den Worten „Selbst ein noch so guter Jurist kann nur das zutreffend beurteilen, was er auch tatsächlich versteht.“ ein und übergab damit das Wort an Burchardt.
Laut Burchardt beschäftigt sich die juristische Forschung und Regulierung von KI primär mit einer noch fiktiven KI. Dieser würden weitaus mehr Fähigkeiten zugeschrieben, als dies nach dem aktuellen Entwicklungsstand möglich sei. Prägnant auf den Punkt brachte er dies durch die Aussage: „Die starke KI gibt es [noch] nicht – eine für Juristen sehr enttäuschende Feststellung.“
Wichtig sei vielmehr, die Risiken, aber insbesondere auch die Chancen des Einsatzes der im Status Quo verfügbaren KI in den Vordergrund zu rücken und sich auch im juristischen Diskurs mit diesen auseinanderzusetzen. Entscheidend sei daher die technische Frage: „Wie macht man Maschinen schlau?“
1. Unterscheidung zwischen implizitem und explizitem Wissen
Sowohl bei dem Erfassen, der Repräsentation als auch bei der Ausgabe von Wissen durch intelligente Systeme hält Burchardt die Unterscheidung zwischen explizitem und implizitem Wissen für zentral: Der Begriff des expliziten
* Die Autorin ist Studentin an der Bucerius Law School (Hamburg) und hat den BSc. IT-Systems Engineering am Hasso-Plattner-Institut (Potsdam) abgeschlossen.
1 Der Begriff der Künstlichen Intelligenz kann nicht eindeutig definiert werden und wird daher oftmals nur als Schlagwort verwendet. Seit seiner Entstehung basiert dieser auf der Idee, dass die natürliche Intelligenz durch Technik nachgeahmt wird, und eignet sich primär als Bezeichnung von Systemen, welche komplexere Aufgaben der Informationsverarbeitung ausführen können.
Wissens bezeichnet eindeutig kodiertes und deshalb mittels Zeichen eindeutig kommunizierbares Wissen, etwa einen Lexikoneintrag. Der Begriff des impliziten Wissens bezeichnet hingegen das sich beispielsweise aus Zusammenhängen, individuellen Erfahrungen oder gesellschaftlichen Konventionen ergebende Wissen, wie etwa die Fähigkeit, auf dem Fahrrad das Gleichgewicht zu halten. Der Fahrradfahrer kennt – aber eben nur implizit – eine komplexe physikalische Regel, welche etwa die aktuelle Geschwindigkeit, den Neigungswinkel und den Lenkeinschlag berücksichtigt. Uns Menschen ist alltäglich sowohl explizites als auch implizites Wissen zugänglich, welches wir individuell gewichten und auf dieser Basis Entscheidungen treffen.
Ein intelligentes System kann laut Burchardt daher nur geschaffen werden, wenn dieses ebenfalls sowohl auf explizites als auch implizites Wissen zugreifen und dieses sinnvoll verarbeiten könne.
Die Erfassung von explizit repräsentiertem Wissen in Form von Datensätzen und expliziten Verhaltensregeln in Form von Algorithmen2 und deren Eingabe und Repräsentation in einem digitalen System ist bereits heute technisch gut umsetzbar. Das Erfassen, die Eingabe und die Repräsentation von implizitem Wissen und Verhaltensregeln stellt jedoch eine höhere Hürde dar, die nur bedingt mit probabilistisch agierenden künstlichen neuronalen Netzwerken überwunden werden kann.
Ein mit dem menschlichen Verständnis vergleichbares „Weltwissen“ könne auch diesen intelligenten Systemen nicht vermittelt werden, stellt Burchardt fest: So kenne beispielsweise ein intelligentes Übersetzungssystem nur die Wahrscheinlichkeiten, dass ein Buchstabe auf einen anderen Buchstaben, Wort auf Wort, Satz auf Satz folgt. Mangels eines grundlegenden Weltverständnisses könne das System seine fertige Übersetzung jedoch keinem „Sanity Check“ unterziehen, um deren Plausibilität zu überprüfen. Diese Beschränkung, in der sich sowohl die Chancen als auch Grenzen der Andersartigkeit intelligenter Systeme im Vergleich zum Menschen zeige, kommentiert Burchardt als so enttäuschend wie faszinierend.
2. Bias intelligenter Systeme
Als gleichermaßen systemisch bedingt beschreibt Burchardt auch die Existenz von Biases (Vorurteilen) in intelligenten Systemen als Folge der Komplexitätsreduktion. Biases steckten sowohl in den Datensätzen selbst als auch in der Datenverarbeitung: Einerseits könnten die Datensätze immer nur einen minimalen Ausschnitt der realen Welt abbilden, andererseits müsse das System im Praxiseinsatz bei der Erstellung eines systeminternen Modells der externen Realität zwangsläufig ab einem gewissen Punkt Generalisierungen treffen, um überhaupt zu einer Entscheidung zu gelangen.
Auf Generalisierung sei jedoch auch der Mensch angewiesen, welcher anhand von Faustregeln und einer generalisierenden Differenzierung von „Gut und Böse“ handle. So spannend wie notwendig ist laut Burchardt daher die Frage, wo ein intelligentes System eine Generalisierung – und damit auch Diskriminierung – treffen dürfe und wo nicht. Problematisch sei, dass diese oftmals andere Gruppen treffen würde als bisher gewohnt: So könne ein System beispielsweise alle Menschen aus Zehlendorf diskriminieren, deren Namen mit einem „R“ beginne. Die von dieser neuartigen willkürlichen Diskriminierung Betroffenen wären sich jedoch zunächst weder ihrer Diskriminierung bewusst, so Burchardt, noch hätten sie eine Lobby, die ihr gemeinsames Interesse gegen die Benachteiligung verteidige.
3. Erklärbarkeit intelligenter Systeme
Eine weitere, von Juristen oft bemängelte, jedoch systemimmanente Eigenschaft ist die aktuell nur lückenhafte Erklärbarkeit von komplexen intelligenten Systemen. Während die beschränkte Erklärbarkeit Juristen gerade in Haftungsfragen Probleme bereitet, sieht Burchardt in dem Anspruch der Nachvollziehbarkeit auch eine starke Beschränkung des Potenzials intelligenter Systeme. Denn dieses liege gerade in der Originalität und Andersartigkeit des Entscheidungsfindungsprozesses. Hier sei ein gesellschaftlicher Diskurs nötig, ob nicht auch statt einer vollständigen Erklärbarkeit des Systems der statistische Beleg der ordnungsgemäßen Funktionsweise ausreichend sein könne.
4. Forderungen an Wissenschaft, Politik und Gesellschaft
Zuletzt formuliert Burchardt die folgenden Forderungen an Wissenschaft, Politik und Gesellschaft:
Die Erforschung und Entwicklung von intelligenten Systemen könne nur in interdisziplinärer Zusammenarbeit gelingen. Daher müsse zunächst ein interdisziplinär akzeptiertes Vokabular entwickelt werden, um gemeinsam an der Identifizierung von Einsatzbereichen, Problematiken und der Entwicklung von KI arbeiten zu können.
Wichtig sei, dass jetzt gehandelt würde, bevor sich in einigen Jahren die heutigen Fachexperten im Ruhestand befänden und den Systemen nicht mehr das nötige Wissen sowie praktische Erfahrungswerte vermitteln könnten. Nur so könnten intelligente Systeme zukünftig nachhaltig und sinnvoll für und in der Gesellschaft eingesetzt werden.
Anstatt proaktiv zu strenge Regularien zu erlassen, solle in der Politik vielmehr die Frage gestellt werden, ab wann ausreichend Wissen über die Technologie und deren Folgen bekannt sei, sodass dann die passenden Regularien erlassen werden könnten.
In der anschließenden Diskussion wurde insbesondere darüber gesprochen, wie man sich als Laie die technischen Grundlagen rund um das Themenfeld KI vertieft erarbeiten könne. Burchardts Empfehlungen waren hier beispielsweise
2 Explizite Verhaltensregeln geringer Komplexität können durch Algorithmen, also eindeutige Handlungsvorschriften zur Lösung eines Problems, welche aus endlich vielen, klar definierten Einzelschritten bestehen, erfasst und repräsentiert werden. Algorithmische Systeme sind klar beschreibbar und verhalten sich deterministisch.
das Online-Angebot „KI-Campus“3 oder das Buch „Künstliche Intelligenz“ von Dr. Manuela Lenzen. Etzkorn ergänzte überdies den kostenlosen Online-Kurs „The Elements of AI“.4
II. Algorithmen in der Unternehmensleitung?
Gesellschaftsrechtliche Maßstäbe für den Einsatz Künstlicher Intelligenz
Die erste Auseinandersetzung mit rechtlichen Fragestellungen des Einsatzes von KI erfolgte im Hinblick auf das Gesellschaftsrecht durch den Vortrag von Prof. Dr. Florian Möslein mit dem Titel „Algorithmen in der Unternehmensleitung? Gesellschaftsrechtliche Maßstäbe für den Einsatz Künstlicher Intelligenz“ am 14.10.2021. Möslein ist Inhaber eine Professur für Bürgerliches Recht, Deutsches und Europäisches Wirtschaftsrecht an der Philipps-Universität Marburg. Er ist Gründungsdirektor des dortigen Instituts für das Recht der Digitalisierung (IRDi) sowie stellvertretender Leiter des hessischen Zentrums verantwortungsbewusste Digitalisierung (ZEVEDI). Zudem ist er geschäftsführender Herausgeber der Zeitschrift „Recht Digital“ (RDi), die im Verlag C.H. Beck erscheint. Moderiert wurde der Abend vom Alumnus Dr. Christian Bochmann (Jg. 2003), der im Bucerius Alumni e.V. seit vielen Jahren einer der Leiter der Fachgruppe Unternehmens- und Gesellschaftsrecht ist.
1. Die drei paradigmatischen Haupttreiber der Digitalisierung
Unter dem Leitsatz „Anything that can be digitized will be digitized“ identifizierte Möslein drei paradigmatische Haupttreiber der Digitalisierung: Digitale Plattformen (beispielsweise Uber und AirBnB), Distributed-Ledger-Technologien (etwa der Blockchain-basierte Bitcoin) sowie Künstliche Intelligenz und Machine Learning (beispielsweise DeepL und autonome Fahrzeuge).
Die Digitalisierung des Gesellschaftsrechts sei maßgeblich durch den Einfluss dieser Haupttreiber auf die Unternehmenswelt geprägt: Das größte Unternehmen eines Sektors sei aktuell meist eine Digitale Plattform. Aus dem Trend von „Corporate Governance“ hin zur „Platform Governance“ in einer Platform Economy folgten neue Problemstellungen, wie etwa im Kartell- und Wettbewerbsrecht. Auch für Blockchain-basierte Technologien sieht Möslein vielfältige Einsatzmöglichkeiten im Gesellschaftsrecht, beispielsweise durch die „Verbriefung“ von Vermögenswerten in Tokens, oder durch die Entwicklung von sog. Decentralized Autonomous Organizations (DAOs) als eine potenzielle Alternative zu den herkömmlichen Rechtsformen des Gesellschaftsrechts.
2. Der Einsatz von KI in der Unternehmensleitung
Sodann ging Möslein auf den Einsatz von KI in der Unternehmensleitung ein. Die Beteiligung intelligenter Systeme an maßgeblichen Unternehmensentscheidungen habe zuletzt insbesondere durch das System VITAL – eine Kombination klassischer statistischer Verfahren und selbstlernender KI – Bekanntheit erlangt. VITAL wurde durch das Unternehmen Uniper erfolgreich bei der Vorhersage von Finanzkennzahlen eingesetzt. Durch die Mitentscheidung über Unternehmensinvestitionen sei die KI praktisch „Teil“ des Vorstands geworden. Zwar hätte diese kein echtes Stimmrecht gehabt, jedoch einen Beobachterstatus.
Die Überlegenheit von KI gegenüber einem Menschen bei daten- und berechnungsintensiven Prognosen führe jedoch zu neuen Herausforderungen für das Gesellschaftsrecht:
Zunächst diskutierte Möslein, ob rechtlich eine Ernennung der KI zur Geschäftsführerin möglich sei. Dies erfordere jedoch deren eigene Organfähigkeit. Die Geschäftsführung einer Personengesellschaft müsse nach dem Grundsatz der Selbstorganschaft aus dem Kreis der Gesellschafter stammen. Die für die Gesellschafterfähigkeit erforderliche (un-)beschränkte Rechtsfähigkeit einer KI sei jedoch umstritten. Die Leitung von Kapitalgesellschaften ist hingegen nur natürlichen, unbeschränkt geschäftsfähigen Personen möglich, vgl. § 6 II 1 GmbHG; § 76 III 1 AktG. Den damit einhergehenden Ausschluss juristischer Personen von der Leitung von Kapitalgesellschaften hält Möslein zwar für verfassungsrechtlich diskutabel, sofern einer KI ohnehin die Rechtsfähigkeit als solche fehle, komme es auf die Verfassungsmäßigkeit jedoch nicht an.
3. Die Delegation von Leitungsaufgaben an eine KI
Von höherer praktischer Relevanz ist laut Möslein die Delegation von Leitungsaufgaben an eine KI.
Die Delegation sei grundsätzlich zwar möglich, jedoch durch den Grundsatz der Selbstorganschaft bzw. durch die umfassende Leitungsverantwortung insofern begrenzt, als die KI noch beherrsch- und überwachbar sein müsse. Zudem sollten Letztentscheidungsbefugnis stets bei den Gesellschaftern bzw. dem Unternehmensleiter verbleiben.
Aufgrund der Überlegenheit von Algorithmen bei bestimmten Prognoseentscheidungen stelle sich auf Basis der Pflicht, auf Grundlage angemessener Information zu handeln (vgl. § 93 Abs. 1 S. 2 AktG (analog)), in Kapitalgesellschaften vielmehr die Frage, ob nicht gerade eine Pflicht zu KI-basierter Entscheidung bestehe. Jedenfalls für Personengesellschaften sei dies aufgrund der bei diesen grundsätzlich ausreichenden diligentia quam in suis (vgl. § 708 BGB) jedoch nicht gegeben.
Im Falle der Delegation folge darauf auch unmittelbar die Frage nach der Verantwortlichkeit für KI-basierte Entscheidungen. Der Geschäftsleiter haftet grundsätzlich nur für Eigenverschulden. Auch könne die KI nicht als Erfüllungs- oder Verrichtungsgehilfe nach § 278 BGB oder § 831 BGB beurteilt werden. Eine eigene Pflichtverletzung der Geschäftsleitung liege jedoch vor, sofern entweder die Delegation unzulässig oder durch fehlerhafte Auswahl, Einweisung oder Überwachung der KI unzureichend gewesen sei.
3 https://ki-campus.org, zuletzt aufgerufen am 30.11.2021.
4 https://www.elementsofai.de, zuletzt aufgerufen am 30.11.2021.
Insofern müssten die algorithmischen Organisationspflichten erfüllt werden, welche sich aus einer analogen Anwendung von § 80 Abs. 2 WpHG ergäben. Laut Möslein beinhalteten diese etwa die Sicherstellung von Systemstabilität und der Beherrschung des intelligenten Systems, sowie das Treffen von Missbrauchsvorkehrungen. Eine einzelne, aus der ex-post-Perspektive fehlerhafte Algorithmenentscheidung bewertet Möslein jedoch lediglich als Realisierung des unternehmerischen Risikos. Ein Überwachungsverschulden der Geschäftsleitung nimmt Möslein daher erst bei einem Fehler systemischer Natur an. Für die praktische Durchsetzung der algorithmischen Informationspflichten würden aktuell sowohl eine Dokumentations- oder Offenlegungspflicht, als auch die Entwicklung eines „Algorithmen-TÜV“ diskutiert.
In der anschließenden Diskussion wurden insbesondere die grundsätzliche Möglichkeit der Beherrschbarkeit von KI sowie die Vereinbarkeit einer statischen, punktbezogenen Zertifizierung in Form eines TÜV mit der Dynamik eines selbstlernenden intelligenten Systems rege debattiert.
III. Haftungsrechtliche Risikoexposition am Beispiel KI: Status quo und Ausblick zukünftige Rechtslage
Der dritte Vortrag „Haftungsrechtliche Risikoexposition am Beispiel KI: Status quo und Ausblick zukünftige Rechtslage“ am 25.11.2021 erfolgte vor dem Hintergrund des Haftungsrechts, des laut Etzkorn wohl auch für Laien zugänglichsten Rechtsproblems rund um die Entwicklung und den Einsatz von KI. Referent war an diesem Abend Philipp Reusch, Gründer der auf Haftungsrecht spezialisierten Kanzlei reuschlaw und Lehrbeauftragter für Produkthaftung und Produktsicherheit an der RWTH Aachen.
1. Produkt- und Produzentenhaftung
Einleitend stellte Reusch fest, dass mangels einer speziellen Regelung Haftungsfragen für Schäden durch KI-basierte Produkte nach den Regelungen beurteilt werden müssen, welche auch für analoge Produkte gelten.
Maßgebliche Rechtsquelle der Herstellerhaftung ist das Zivilrecht mit der deliktischen Produzentenhaftung auf Grundlage von § 823 Abs. 1 BGB sowie der harmonisierten Produkthaftung auf Grundlage des ProdHaftG. Die dafür entscheidenden Merkmale, wie etwa der Fehlerbegriff des ProdHaftG oder die Verkehrssicherungspflicht der Produzentenhaftung werden zusätzlich stark durch öffentlich-rechtliche Vorgaben, wie etwa Vorgaben zur Cybersecurity, zur Entwicklung intelligenter Systeme oder zum Datenschutz beeinflusst. Zudem würden laut Reusch oft Standards herangezogen, welche nicht speziell für die Haftung für KI-basierte Produkte entwickelt wurden.
Bei der Produzentenhaftung für Schäden durch intelligente Systeme seien die Rechtsgutsverletzung, die Verletzungshandlung – das Inverkehrbringen des fehlerhaften Produktes – sowie die Kausalität meist einfach festzustellen.
Problematisch für den Hersteller sei laut Reusch jedoch die Beweislastumkehr im Rahmen des Verschuldens. Diese verpflichte den Hersteller, darzulegen und zu beweisen, dass er die Verletzungshandlung der KI nicht zu vertreten habe. Dieser Beweis sei laut Reusch für den Hersteller meist nur schwer zu führen: Um nachzuweisen, dass ein Schaden nicht durch ein intelligentes System verursacht sei, müsse der Hersteller darlegen, dass sein System in der konkreten Situation, welche zu dem Schaden geführt hat, immer korrekt handeln würde. Dafür müsse das System alle Risiken dokumentiert minimieren. Je involvierender die Technologie, also je mehr menschliche und technische Einwirkung aus der Sphäre des Betreibers die KI erfordere, desto schwieriger sei der Nachweis der Systemsicherheit durch den Hersteller zu führen.
Die allgemeine Sorgfaltspflicht des Herstellers konkretisiert sich in vier Verkehrssicherungspflichten, die ihn verpflichten beim Inverkehrbringen eines Produkts alles Erforderliche und Zumutbare zu tun, um Schädigungen Dritter zu verhindern. Es handelt sich dabei um die Pflicht zur sorgfältigen Konstruktion, Fabrikation, Instruktion und – innerhalb der deliktischen Produzentenhaftung – zur Beobachtung des Produkts. Zeitlicher Bezugspunkt des Fehlerbegriffs ist das Inverkehrbringen des fehlerhaften Produktes.
2. Der Begriff des Konstruktionsfehlers bei intelligenten Systemen
Insbesondere der Konstruktionsfehler sei von herausragender Relevanz für die Haftung für intelligente Systeme, so Reusch. Der Begriff des Konstruktionsfehlers bezeichnet einen sicherheitsrelevanten Mangel in dem vom Hersteller konzipierten Bauplan des Produktes. Ein solcher Mangel beträfe regelmäßig die gesamte Serie. Der Bauplan müsse so gestaltet sein, dass die erkannten Gefahren in den Grenzen des technisch Möglichen und wirtschaftlich zumutbaren konstruktiv ausgeschaltet würden. Weise die vom Hersteller konzipierte KI-Software einen Fehler auf, handele es sich per definitionem um einen Konstruktionsfehler.
Laut Reusch sei für die Bestimmung des „technisch Möglichen“ nicht der brancheninterne Standard, sondern der aktuelle Stand von Wissenschaft und Technik maßgeblich. Dieser müsse jedoch auch praktisch durch die Industrie umsetzbar sein.
Für die Beurteilung von intelligenten Systemen sei ferner die Rechtsprechung des BGH im sogenannten Airbag-Urteil5 richtungsweisend. Im zugrundeliegenden Fall war der Seitenairbag eines Autos durch fehlerhafte Sensorik ausgelöst worden, welcher den Autofahrer verletzt hatte. Nach dem BGH müsse die durch den Einbau von sicherheitserhöhender Technik (wie etwa einem Seitenairbag) gewonnene Sicherheit die in dieser Sicherheitserhöhung gegebenenfalls liegende Gefahrerhöhung (wie etwa die Möglichkeit der Fehlauslösung des Airbags) in einer Risiko-Nutzen-Rechnung überwiegen. Durch den Einsatz von KI werde zwar zwangsläufig die Fehlerhaftigkeit menschlicher Entscheidungen durch die geringere Fehlerhaftigkeit KI-basierter Entscheidungen ersetzt und dadurch ein Sicherheitsgewinn erzielt. Dieser müsse jedoch die
5 BGHZ 181, 253.
systembedingten spezifischen Gefahren der KI überwiegen.
Als Beispiel für eine KI, deren Entscheidungen grundsätzlich einen Sicherheitsgewinn gegenüber menschlichen Entscheidungen darstellen, die jedoch gleichzeitig auch eine neue Gefahrenlage schafft, die bei menschlichem Entscheidungsverhalten gar nicht erst auftreten kann, nannte Reusch ein KI-basiertes selbstfahrendes Auto.
So verursachte ein von Uber im Jahr 2018 zu Testzwecken eingesetztes KI-basiertes selbstfahrendes Auto einen Unfall, bei welchem eine Fußgängerin überfahren wurde.6 Im konkreten Fall hatte das intelligente System zwar erkannt, dass es sich einem Objekt – vorliegend einer Fußgängerin – mit hoher Geschwindigkeit näherte, dieses Objekt jedoch nicht sinnvoll identifizieren können. Aus dem Identifikationsproblem schloss das System jedoch nicht, dass dieses Objekt – unabhängig von dessen Identität – jedenfalls nicht überfahren werden dürfe. Während es weiterhin das Objekt zu identifizieren versuchte, fuhr das autonome Fahrzeug daher ungehindert auf das Objekt zu, bis es dieses letztlich überfuhr. Diese Logik des ungehinderten Weiterfahrens trotz Erkennung eines Objektes aufgrund eines Identifikationsproblems sei laut Reusch ein Programmier- oder Lernfehler der KI, welcher die Gefährlichkeit eines durchschnittlichen menschlichen Entscheiders in der konkreten Situation bei weitem übersteige.
Bei intelligenten selbstlernenden Systemen sei der Stand von Wissenschaft und Technik jedoch höchst dynamisch. Die sichere Gestaltung eines intelligenten Systems könne daher nicht ab einem bestimmten Zeitpunkt mit einem Design-freeze enden, sondern müsse sich parallel zum aktuellen Stand von Wissenschaft und Technik stetig weiterentwickeln, sodass der Hersteller jederzeit eine positive Kosten-Nutzen-Rechnung vorweisen könne.
Aufgrund der hohen Entwicklungsgeschwindigkeit werden jedoch zwangsläufig ab einem gewissen Punkt intelligente Produkte im Feld eingesetzt, welche nach dem dann aktuellen Stand von Wissenschaft und Technik nicht mehr als sicher gelten. Nach höchstrichterlicher Rechtsprechung kann der Hersteller die eigene Haftung durch eine Warnung des Betreibers abwenden, sofern die Gewährleistung für ein Produkt abgelaufen sei. Das Ausreichen einer solchen Warnung für die Sicherstellung der Systemsicherheit bezweifelt Reusch jedoch stark: Damit eine solche Warnung funktioniere, müsse der Nutzer diese erhalten, diese nachvollziehen und den Inhalt der Warnung teilen. Der Nutzer sei jedoch weder Garant, noch Erfüllungsgehilfe des Herstellers, noch in irgendeiner anderen Weise verpflichtet, die Warnung des Herstellers zu berücksichtigen.
Reusch schlägt daher vor, eine Verpflichtung der Hersteller einzuführen, KI-basierte Produkte von Anfang an so zu produzieren, dass diese zwangsweise durch den Hersteller durch ein sog. forced-Update aktualisierbar sind.
Zusätzliches Mittel und eine laut Reusch „stark unterschätzte Stellschraube“ zur Begrenzung der Herstellerhaftung sei der Verwendungszweck eines Produktes. Dieser würde durch den Hersteller bestimmt und umfasse sowohl den durch den Hersteller intendierten Gebrauch als auch den möglicherweise fälschlichen, aber durch den Hersteller vorhersehbaren Gebrauch. Innerhalb dieses individuellen Use-Cases haftet der Hersteller für alle Schäden, welche durch mangelhafte Sicherheitsvorkehrungen des Produktes entstehen.
Fraglich ist jedoch laut Reusch, ob sich der Hersteller auch die durch eine selbstlernende KI gewonnene Evolution zurechnen lassen müsse. Die konkrete Evolution sei für einen Hersteller nicht antizipierbar. Einerseits hält Reusch es für denkbar, den Hersteller zur Sicherstellung eines „Supersets“ an Regeln zu verpflichten, welches auch bei der (Weiter-)Entwicklung der KI keinesfalls verletzt werden dürfen. Andererseits erscheint es Reusch ebenso plausibel, die Herstellerhaftung durch den Verwendungszweck eines KI-basierten Produktes zu begrenzen. Sofern der Betreiber die vom Hersteller im Verwendungszweck bestimmten Konditionen, wie etwa die Diversität der Datensätze oder sonstige technischen Rahmenbedingungen der KI, nicht gewährleisten könne, solle die Herstellerhaftung ausgeschlossen sein.
Erneut entwickelte sich im Anschluss an den Vortrag eine angeregte Diskussion rund um die angesprochenen Praxisbeispiele und aufgeworfenen Rechtsfragen.
C. Ausblick
Die Vortragsreihe „AI-Lectures at Bucerius“ ist damit jedoch noch nicht abgeschlossen. Zum Zeitpunkt der Veröffentlichung wird bereits der Vortrag von Michael Kalbfus zum Thema „Schöne neue Arbeitswelt? KI in der Arbeitsrechtspraxis“ am 09.12.2021 stattgefunden haben.
Weiter geht es am 11.01.2022 mit einem Vortrag von Dr. Erik Weiss mit dem Titel „Medicina ex machina – Zu den (straf-)rechtlichen Implikationen des Einsatzes von KI im Gesundheitssektor“.
Am 03.02.2022 werden dann die Alumni Dr. David Bomhard sowie Philipp Etzkorn zu „Europa reguliert KI – 10 provokante Thesen“ sprechen.
Die Reihe am 24.02.2022 abschließen und abrunden wird Prof. Dr. Linda Kuschel mit ihrem Vortrag „AI Author: Systeme künstlicher Intelligenz im Immaterialgüterrecht“.
Die Teilnahme an sämtlichen Veranstaltungen ist kostenlos sowohl vor Ort an der Bucerius Law School als auch online über Zoom möglich. Alle Informationen finden sich unter: https://buceri.us/AI-LaBbuceri.us/AI-LaB.
6 Somerville/Shepardson, Uber driver was streaming Hulu show just before self-driving car crash- police Report, https://www.reuters.com/article/uber-selfdriving-crash-idUSL1N1TO05R, zuletzt aufgerufen am 28.11.2021.