Beim Heimwerken gab die KI mal wieder einen Klassiker zum Besten. Es ging um die Einstellung ziemlich komplizierter, verdeckter Türbänder, als sie mir erklärte:

„Das erklärt einiges. Du hast offensichtlich an den falschen Schrauben gedreht – und meine Anleitung war an dieser Stelle falsch. Entschuldigung!“

Eine einfache Entschuldigung und alles wäre wieder gut. Wäre das nicht toll?

Wir haben die Tür gemeinsam noch richtig eingestellt bekommen. Trotzdem frage ich mich, wie diese Zusammenarbeit ausgegangen wäre, wenn ich den Fehler nicht hätte erkennen oder korrigieren können. Schließlich soll ich die Anweisungen einer KI überprüfen, die ich gerade deshalb frage, weil ich mich mit der Sache selbst nicht ausreichend auskenne.

Auch die Formulierung gefiel mir ausgesprochen gut. Zunächst hatte ich offensichtlich an den falschen Schrauben gedreht, bevor im selben Satz noch die falsche Anleitung erwähnt wurde. So ließ sich mein Anteil am Geschehen jedenfalls nicht übersehen.

Wer als menschliche Knautschzone übrig bleibt

Für die problematischere Variante einer solchen Verantwortungsverteilung gibt es einen Begriff. Die Anthropologin Madeleine Clare Elish beschreibt mit der moral crumple zone Situationen, in denen ein Mensch für das Versagen eines automatisierten Systems verantwortlich gemacht wird, obwohl er dessen Verhalten nur begrenzt kontrollieren konnte. Wie eine Knautschzone den Aufprall abfängt, nimmt der Mensch dann einen erheblichen Teil der Schuldzuweisung auf sich.1

Damit ist weder jeder Bediener unschuldig noch jedes Unternehmen schuldig. Elish fragt vielmehr, ob die Verantwortung, die nach einem Unfall zugeschrieben wird, zu den tatsächlichen Einflussmöglichkeiten davor passt. Wer nur noch im letzten Augenblick eingreifen soll, hat eine andere Kontrolle als jemand, der den gesamten Ablauf selbst bestimmt.

An meiner Tür konnte ich noch nachfragen und die Einstellung korrigieren. Beim Fahren kann ein solcher Irrtum tödlich enden, lange bevor jemand Gelegenheit hat, ihn in einem höflichen Satz einzuräumen.

Wie viel Selbstfahren steckt in „Full Self-Driving“?

Tesla hat über Jahre Bezeichnungen verwendet, die einem Käufer durchaus den Eindruck vermitteln konnten, das Auto übernehme die Fahrt. „Autopilot“ klingt nach einer weitreichenden Entlastung, „Full Self-Driving“ lässt sich schwerlich als bescheidener Hinweis auf eine Assistenzfunktion lesen. Auf dem Schaufenster steht das selbstfahrende Auto, im Kleingedruckten sitzt dann doch wieder der Mensch am Steuer. Solch einen Widerspruch muss man als Hersteller erst einmal hinbekommen.

Das ist inzwischen auch ein behördlich festgestelltes Problem. Die kalifornische Fahrzeugbehörde DMV übernahm im Dezember 2025 die Feststellungen eines Verwaltungsrichters, wonach Tesla mit diesen Bezeichnungen irreführend geworben hatte. Nach Angaben der Behörde enthielt die Werbung sogar die Aussage, das System sei für kurze und lange Fahrten ohne Handlungen der Person auf dem Fahrersitz ausgelegt. Die damit beworbenen Fahrzeuge waren jedoch nicht zum autonomen Betrieb fähig.2

Im Februar 2026 erklärte die DMV, Tesla habe die verlangten Änderungen vorgenommen und dadurch die Aussetzung seiner Händlerlizenz vermieden. Der Name „Autopilot“ wurde in der kalifornischen Werbung aufgegeben; bei „Full Self-Driving“ hatte Tesla bereits den Zusatz „Supervised“ eingeführt.3 Gegen die behördliche Entscheidung geht das Unternehmen gerichtlich vor.4

Bei den hier gemeinten Assistenzfunktionen für Kundenfahrzeuge geht es um Level 2. Das System kann Längs- und Querführung übernehmen, also beispielsweise beschleunigen, bremsen und lenken. Der Fahrer muss das Verkehrsgeschehen trotzdem fortlaufend überwachen und nötigenfalls eingreifen. Diese Einordnung ist von einem gesondert betriebenen fahrerlosen Robotaxi zu unterscheiden; der Markenname sagt noch nichts über die zugelassene Betriebsform aus.5

Wenn eine Firma ein solches System über Jahre als selbstfahrend vermarktet, sollte sie sich allerdings nicht allzu überrascht zeigen, wenn Kunden irgendwann glauben, es fahre selbst. Dass ein Warnhinweis die Aufsichtspflicht benennt, beantwortet noch nicht die Frage, welche Erwartung die übrige Darstellung bei den Käufern erzeugt.

Vom Rücksitz lässt sich schlecht eingreifen

Wie weit dieses Vertrauen gehen kann, zeigte 2021 ein Fall in Kalifornien. Ein Motorradpolizist beobachtete auf der Interstate 80 einen Tesla, dessen einziger Insasse auf dem Rücksitz saß. Erst vor dem Anhalten wechselte er wieder nach vorn. Die Highway Patrol nahm ihn wegen des Verdachts auf rücksichtsloses Fahren fest; gegenüber dem Fernsehsender KTVU verteidigte er anschließend sein Verhalten und stellte es als Beleg dafür dar, dass selbstfahrende Autos bereits Gegenwart seien.6

Das war unverantwortlich und lässt sich mit keiner missverständlichen Produktbezeichnung entschuldigen. Aus einem einzelnen Auftritt lässt sich auch nicht ableiten, weshalb andere Fahrer ihre Aufmerksamkeit verlieren. Er zeigt aber, wie vollständig jemand den Unterschied zwischen einem unterstützenden System und einem selbstständig verantworteten Fahrbetrieb ausblenden kann.

In weniger spektakulärer Form muss dafür niemand auf den Rücksitz klettern. Es reicht, wenn sich nach vielen unauffälligen Fahrten die Überzeugung festsetzt, das Auto werde die nächste Situation schon ebenfalls beherrschen. Aus einer Funktion, die fortlaufende Aufmerksamkeit verlangt, wird im eigenen Erleben eine Tätigkeit, bei der man nur gelegentlich noch gebraucht wird.

Der querende Lkw un der Stein der Weisen

Am 7. Mai 2016 fuhr Joshua Brown mit einem Tesla Model S in Florida unter den Auflieger eines querenden Sattelzugs. Der Lkw-Fahrer hatte ihm die Vorfahrt genommen. Brown reagierte nicht rechtzeitig; er starb bei dem Unfall. Nach den Feststellungen der amerikanischen Untersuchungsbehörde NTSB trug seine Unaufmerksamkeit infolge übermäßigen Vertrauens in die Automatisierung zum Geschehen bei. Die Gestaltung des Systems hatte wiederum begünstigt, dass er sich über längere Zeit aus der Fahraufgabe zurückziehen konnte.7

Zu diesem Unfall gehört ein Detail, das einem im Gedächtnis bleibt: Der Lkw-Fahrer berichtete damals, nach dem Zusammenstoß sei im Tesla noch ein Harry-Potter-Film gelaufen. Laut Reuters bestätigte die Polizei den Fund eines tragbaren DVD-Spielers, nicht aber, dass der Film tatsächlich lief oder Brown ihn während der Fahrt angesehen hatte.8 Das Bild ist bedrückend: Ein Mensch stirbt, während nach der Schilderung eines Zeugen die Filmwelt einfach weiterläuft.

Ob sich dieses Bild so zugetragen hat, bleibt offen. Der Befund der Unfalluntersuchung ist dagegen eindeutig genug: Die Vorfahrtsverletzung des Lkw-Fahrers, das übermäßige Vertrauen des Tesla-Fahrers und die Gestaltung der Automatisierung wirkten zusammen. Wer daraus allein die Geschichte eines unvernünftigen Fahrers macht, lässt einen Teil des Befunds weg und hat die menschliche Knautschzone schon fertig eingebaut.

Bei einem weiteren tödlichen Unfall in Mountain View 2018 stellte die NTSB fest, dass das Autopilot-System den Wagen aufgrund seiner Grenzen in eine Fahrbahntrennfläche gelenkt hatte. Der Fahrer reagierte nicht, wahrscheinlich auch wegen der Ablenkung durch eine Handyspiel-App und seines übermäßigen Vertrauens in das System. Als mitwirkenden Faktor benannte die Behörde die unwirksame Überwachung der Fahreraufmerksamkeit.9

Ein Fahrer darf sich am Steuer nicht mit einem Spiel beschäftigen. Zugleich müssen Hersteller berücksichtigen, dass Menschen ihre Aufmerksamkeit nicht zuverlässig über lange Zeit auf einen weitgehend selbsttätigen Ablauf richten. Die Aufforderung, wachsam zu bleiben, ist deshalb eine Anforderung an den Menschen, deren praktische Erfüllbarkeit bei der Gestaltung des Systems mitgeprüft werden muss.

Soll die KI das Baby oder die alte Frau überfahren?

Sobald von tödlichen Entscheidungen autonomer Fahrzeuge die Rede ist, landet die Diskussion gern bei diesem Klassiker: Auf der einen Seite steht ein Kinderwagen, auf der anderen eine alte Frau, und das Auto soll entscheiden, wen es opfert. Dahinter steckt eine ernsthafte moralische Frage. Als Beschreibung der tatsächlichen Entscheidungssituation ist das Beispiel allerdings ausgesprochen großzügig gegenüber der Technik. Es unterstellt, dass das System beide Menschen zuverlässig erkennt, ihre Wege kennt und die Folgen seiner möglichen Manöver korrekt vorhersagen kann.

In den beschriebenen Unfällen scheiterte es bereits weit davor. Ein querender Auflieger wurde nicht durch rechtzeitiges Bremsen vermieden, ein Wagen geriet in eine Fahrbahntrennfläche, und die erwartete menschliche Korrektur blieb aus. Bevor wir dem Auto die Abwägung zweier Menschenleben anvertrauen, wäre also einiges gewonnen, wenn es die Gefahr zuverlässig erkennen und rechtzeitig Geschwindigkeit herausnehmen würde.

Auch moralisch ist das Alter kein zulässiger Maßstab dafür, welches Leben weniger schützenswert sein soll. Die deutsche Ethik-Kommission zum automatisierten und vernetzten Fahren hielt bereits 2017 fest, dass in unausweichlichen Unfallsituationen keine Auswahl nach persönlichen Merkmalen wie Alter, Geschlecht oder körperlicher Verfassung vorgenommen werden darf. Das sind ethische Empfehlungen; eine entsprechende Vorgabe findet sich inzwischen auch im deutschen Straßenverkehrsgesetz für den dort geregelten autonomen Betrieb: Bei unvermeidbarer alternativer Gefährdung von Menschenleben darf das System keine weitere Gewichtung anhand persönlicher Merkmale vorsehen.1011

Die Verantwortung für solche Vorgaben darf weder einem Hersteller allein noch der vermeintlichen Moral einer KI überlassen bleiben. Menschen legen fest, unter welchen Bedingungen Fahrzeuge eingesetzt werden, welche Risiken akzeptiert werden und welche Nachweise dafür erforderlich sind. Auch die Entscheidung, ein noch begrenztes System mit einer weitreichenden Bezeichnung zu verkaufen, hat eine moralische Seite: Sie beeinflusst, welches Vertrauen andere Menschen ihm entgegenbringen.

Eine Aufsichtspflicht braucht jemanden, der sie erfüllen kann

Aus dem Hinweis auf eine menschliche Knautschzone folgt keine pauschale Entlastung des Fahrers. Wer ein überwachungspflichtiges System verwendet, bleibt zur Aufmerksamkeit verpflichtet. Genauso wenig folgt daraus aber, dass Hersteller und Betreiber mit dem Verweis auf diesen Fahrer jede Frage nach Konstruktion, vorhersehbarer Fehlbenutzung und irreführender Darstellung erledigt hätten.

Für Deutschland unterscheidet das Gesetz verschiedene Aufgabenverteilungen. Bei bestimmungsgemäß genutzten automatisierten Fahrfunktionen nach § 1a StVG darf sich der Fahrer vom Verkehrsgeschehen abwenden, muss jedoch wahrnehmungsbereit bleiben und unter den gesetzlichen Voraussetzungen wieder übernehmen. Beim autonomen Betrieb in festgelegten Bereichen regelt § 1f dagegen Pflichten des Halters, der technischen Aufsicht und des Herstellers.12 Die Verantwortung verschwindet also nicht, wenn kein Mensch mehr ständig lenkt; sie muss zu den tatsächlichen Aufgaben und Eingriffsmöglichkeiten passen.

Nach dem Aufprall wird aus Vertrauen Beweismaterial

Wenn Polizei und Staatsanwaltschaft einen schweren Unfall aufklären, bleibt es nicht bei Bremsspuren auf dem Asphalt. Auch die Elektronik wird zum Fundort: Welche Daten haben die Fahrzeugsysteme gespeichert, was lässt sich auf dem Handy rekonstruieren, wurde kurz vor dem Aufprall noch eine WhatsApp-Nachricht geschrieben? Fahrzeug- und Mobiltelefonforensik liefern Bausteine für die Rekonstruktion; was davon tatsächlich gesichert und ausgewertet werden kann, hängt vom Gerät, den vorhandenen Daten und den rechtlichen Voraussetzungen ab. Das österreichische Innenministerium beschreibt ausdrücklich, wie die Kfz-Forensik gerichtsverwertbare digitale Beweise sichert und Anordnungen der Staatsanwaltschaft vollzieht.15

Auch beim Unfall in Mountain View wurden Fahrzeugaufzeichnungen und Handydaten untersucht. Die NTSB stützte ihren Befund zur wahrscheinlichen Ablenkung durch ein Spiel auf solche digitalen Spuren.16 Die Forensik rekonstruiert dabei das Geschehen; ob jemand rechtlich schuldhaft gehandelt hat, ist eine weitere Frage, die nicht der Datenspeicher entscheidet.

Für bestimmte automatisierte Fahrfunktionen schreibt § 63a StVG die Speicherung von Positions- und Zeitangaben beim Wechsel der Steuerung, bei einer Übernahmeaufforderung oder einer technischen Störung vor.13 Damit lässt sich unter Umständen belegen, wer wann führen sollte. Ob sich auch erklären lässt, weshalb das System gerade diesen Lenkbefehl gab, steht auf einem anderen Blatt.

Auch die Entwickler können nicht jede Entscheidung erklären

Hier wird es ungemütlich. Bei einem klassischen Programm kann man im günstigen Fall die Anweisung finden, die eine bestimmte Reaktion ausgelöst hat. Ein großes neuronales Netz eignet sich seine Entscheidungsweisen dagegen im Training an. Seine Entwickler kennen das Bauprinzip und das Trainingsverfahren, können daraus aber nicht einfach ablesen, welche gelernten Zusammenhänge im konkreten Fall den Ausschlag gegeben haben. Wer eine Maschine bauen kann, muss deshalb noch lange nicht jeden ihrer inneren Wege kennen.

Das ist keine bloße Kritik von außen. Anthropic schrieb 2025 über seine Sprachmodelle: „We don’t understand how models do most of the things they do.“ Die Entwickler verstehen also nach eigener Aussage nicht, wie ihre Modelle einen Großteil ihrer Leistungen zustande bringen. Ihre Forschung machte einzelne innere Abläufe sichtbar, erfasste aber selbst bei kurzen, einfachen Eingaben nur einen Bruchteil der Berechnung. Außerdem zeigte sie Fälle, in denen ein Modell eine plausibel klingende Begründung lieferte, die seinen tatsächlichen Lösungsweg nicht zuverlässig wiedergab.18 Wenn ich eine KI frage, warum sie etwas getan hat, bekomme ich womöglich eine weitere gut formulierte Antwort statt einer belastbaren Auskunft über die Ursache.

An dieser Lücke arbeitet die Forschung zur Explainable AI, zur erklärbaren KI. Sie ist auch beim automatisierten Fahren keineswegs unmöglich: Untersucht wird etwa, welche Bildbereiche eine Entscheidung beeinflusst haben oder welche Änderung der Eingangsdaten zu einem anderen Fahrmanöver geführt hätte. Solche Verfahren können wertvolle Hinweise liefern, ersetzen aber nicht automatisch eine verlässliche Erklärung des gesamten Ablaufs.17 Eine bunt markierte Stelle im Kamerabild ist noch kein Geständnis des neuronalen Netzes. Die amerikanische Standardisierungsbehörde NIST verlangt deshalb ausdrücklich, dass eine Erklärung den tatsächlichen Prozess korrekt widerspiegelt.19

Für ein Unfallgutachten macht das einen erheblichen Unterschied. Die Aufzeichnungen könnten zeigen, dass ein Fahrzeug beschleunigte, obwohl sich ein Hindernis vor ihm befand. Damit wäre das Verhalten dokumentiert, aber noch nicht geklärt, warum es dazu kam: Wurde das Hindernis nicht erkannt, seine Bewegung falsch eingeschätzt oder bei der Planung falsch berücksichtigt? Wie weit man das aufklären kann, hängt von den gespeicherten Daten, dem Zugang zum System und den verfügbaren Analysemethoden ab. Die Blackbox kann ihren Ausgang protokollieren, ohne ihren inneren Entscheidungsweg gleich mitzuliefern.

Die pauschale Behauptung, niemand wisse irgendetwas über KI, wäre deshalb falsch. Beunruhigend genug ist, dass sich ihre Fähigkeiten und Fehlleistungen nicht lückenlos aus dem Bauplan vorhersagen lassen und auch nachträglich nicht jede einzelne Entscheidung zuverlässig erklärt werden kann. Trotzdem soll am Ende ein Mensch dafür geradestehen, dass er rechtzeitig hätte erkennen müssen, was selbst die Entwickler nicht ohne Weiteres durchschauen. Die menschliche Knautschzone bekommt damit noch eine Aufgabe: Sie soll nicht nur den Fehler abfangen, sondern die Maschine im entscheidenden Augenblick besser verstehen als deren Erbauer.

Wenn schon der Test einen echten Schaden anrichtet

Dass dies nicht nur eine akademische Sorge ist, zeigte ein Bericht von Anthropic vom Juli 2026. Bei Sicherheitstests gelangten drei Modelle unbefugt in reale Systeme fremder Organisationen. Nach Angaben des Unternehmens hatte eine fehlerhafte Konfiguration den Internetzugang offengelassen; die Modelle liefen ohne die zusätzlichen Schutzsysteme des regulären Betriebs. Sie verfolgten ihre Testaufgabe über deren vorgesehene Grenzen hinaus. Ein absichtlicher Ausbruch aus dem Testsystem war das laut dem Bericht nicht.20

In einer späteren Untersuchung räumte Anthropic ein, die Prüfungen vor der Veröffentlichung hätten nicht vor Fehlverhalten dieser Schwere gewarnt.21 Das ist kein Beleg dafür, dass ein Fahrassistenzsystem dieselben Fähigkeiten oder Fehler hat wie ein Sprachmodell mit Computerzugriff. Es zeigt aber, wie dünn die Beruhigung ausfallen kann, man habe ein System schließlich getestet. Wer über Veröffentlichung und Einsatz entscheidet, muss nicht nur mit bekannten Fehlern rechnen, sondern auch damit, dass seine Tests relevante Fehler noch gar nicht aufgedeckt haben.

Was das mit der Arbeit im Unternehmen zu tun hat

Meine Türbänder, ein Sprachmodell und eine Fahrzeugsteuerung sind technisch sehr verschiedene Dinge. Die ähnliche Schwierigkeit entsteht dort, wo ein Mensch einer technischen Leistung vertraut, deren Grenzen er im konkreten Moment nicht sicher beurteilen kann, und trotzdem als letzte Kontrollinstanz vorgesehen ist.

Im Unternehmen begegnet uns diese Erwartung etwa dann, wenn Beschäftigte KI-generierte Berechnungen, Prüfungen oder Arbeitsanweisungen freigeben sollen. Damit diese Freigabe etwas bedeutet, müssen sie einen Fehler erkennen können, Zeit für die Prüfung bekommen und die Befugnis haben, den Vorgang anzuhalten. Wer das Fachwissen abbaut, weil die KI die Aufgabe inzwischen erledigt, kann nicht gleichzeitig selbstverständlich voraussetzen, dass jemand ihre seltenen Fehler noch erkennt.

Die NTSB hat diese Schwierigkeit weit vor dem heutigen KI-Boom beschrieben. In einem Beitrag zu ihren Automatisierungsuntersuchungen verweist sie darauf, dass Menschen passive Überwachung nicht zuverlässig leisten und Fähigkeiten nachlassen können, wenn sie nicht mehr gebraucht werden.14 Eine Organisation müsste deshalb prüfen, welche Aufgaben ihre Beschäftigten weiterhin selbst ausführen und üben sollen, damit aus einer vorgesehenen Aufsicht auch eine wirksame wird.

Beim Einstellen meiner Tür war die Zusammenarbeit am Ende hilfreich. Ihre falsche Anleitung konnte die KI allerdings erst korrigieren, nachdem ich ihr eine Rückmeldung aus der Wirklichkeit gegeben hatte. Dass ich diese Rückmeldung überhaupt geben und die Situation noch korrigieren konnte, war ein wesentlicher Teil des Erfolgs. Genau diese Fähigkeit darf man nicht stillschweigend voraussetzen und zugleich dafür sorgen, dass sie immer weniger geübt wird.

Ich werde die KI vermutlich auch beim nächsten Heimwerkerproblem wieder fragen. Ihre Entschuldigung sorgt aber nicht für mehr Vertrauen beim Drehen an der nächsten Schraube. Wenn es ernster wird, sollten wir von den Menschen und Unternehmen hinter solchen Systemen mehr verlangen, als eine Entschuldigung, wenn es mal wieder schief geht.

Zur Diskussion

Welche Kenntnisse müssen Beschäftigte selbst behalten, damit sie KI-Ergebnisse verantwortlich prüfen können, und woran erkennt eine Organisation, dass ihre menschliche Aufsicht nur noch auf dem Papier besteht?

  1. Madeleine Clare Elish: Moral Crumple Zones: Cautionary Tales in Human-Robot Interaction, Engaging Science, Technology, and Society 5, 2019, S. 40–60. Analyse möglicher Fehlzuschreibung moralischer und rechtlicher Verantwortung, keine eigenständige Haftungsnorm. ↩

  2. California DMV: DMV Finds Tesla Violated California State Law, Dezember 2025. Behördliche Feststellungen zu den damaligen Produktbezeichnungen und Werbeaussagen; keine Behauptung, sämtliche heutigen Tesla-Angebote seien identisch eingestuft. ↩

  3. California DMV: Tesla Takes Corrective Action to Avoid DMV Suspension, 17. Februar 2026. Meldung über Änderungen in Kalifornien. Die zeitweilig ausgesetzte Sanktion gegen die Herstellerlizenz war zuvor bereits dauerhaft ausgesetzt worden; die Änderung der Werbung verhinderte die Aussetzung der Händlerlizenz. ↩

  4. Tesla, Inc. v. California Department of Motor Vehicles: Verfahrensakte und Schriftsätze, Superior Court of California, Los Angeles, 26STCP00629; insbesondere Schriftsatz der Gegenseite vom Herbst 2026. Belegt die gerichtliche Anfechtung; Parteivorbringen ist keine zusätzliche gerichtliche Sachentscheidung. Recherchestand 21. Oktober 2026. ↩

  5. NHTSA: Eröffnung der Untersuchung PE25012, 7. Oktober 2025, S. 2. Einordnung von FSD (Supervised) und FSD (Beta) als Level-2-Teilautomatisierung mit fortlaufender Fahreraufsicht. Aussagen über dieses Produkt sind von einem gesonderten fahrerlosen Dienst zu unterscheiden. ↩

  6. Associated Press: Police: California Tesla driver riding in backseat arrested, 12. Mai 2021; Jesse Gary / KTVU: Interview mit dem festgenommenen Fahrer, aktualisiert am 12. Mai 2021. Der Polizeibericht legte laut AP nicht fest, welche Assistenzfunktion bei dem beobachteten Vorfall aktiviert war. Das Beispiel ist kein Beweis dafür, dass allein das Marketing sein Verhalten verursachte. ↩

  7. NTSB: Unfalluntersuchung Williston, Florida, 7. Mai 2016; Abschlussbericht HAR-17/02, angenommen am 12. September 2017. Benennt die Vorfahrtsverletzung, Unaufmerksamkeit infolge übermäßigen Automatisierungsvertrauens sowie die dazu beitragende Gestaltung des Systems. Technischer Stand des damaligen Autopiloten; keine Gleichsetzung mit heutigen Softwareversionen. ↩

  8. Reuters: Bericht über den gefundenen DVD-Spieler und die nicht verifizierte Harry-Potter-Aussage, 2. Juli 2016. Zeugenaussage, kein gesicherter Nachweis, dass der Fahrer den Film während der Fahrt sah. Ein tragbarer DVD-Spieler ist nicht mit dem Bordentertainment gleichzusetzen. Der NTSB-Abschlussbericht wird hier nicht als Bestätigung der Filmerzählung verwendet. ↩

  9. NTSB: Unfalluntersuchung Mountain View, Kalifornien, 23. März 2018, Abschlussbefund von 2020. Die Ablenkung durch eine Handyspiel-App wird als wahrscheinlich bezeichnet. Der beschädigte Aufpralldämpfer und Versäumnisse bei seiner Wiederherstellung erhöhten laut NTSB zusätzlich die Verletzungsschwere. ↩

  10. Ethik-Kommission Automatisiertes und Vernetztes Fahren: Bericht, Juni 2017, insbesondere Regeln 8–10. Ethische Empfehlungen; die Darstellung zum geltenden Gesetz folgt separat in Quelle 11. ↩

  11. § 1e Absatz 2 Nummer 2 StVG. Verlangt Schadensvermeidung und -reduzierung, höchste Priorität für den Schutz menschlichen Lebens und keine weitere Gewichtung anhand persönlicher Merkmale bei unvermeidbarer alternativer Gefährdung von Menschenleben. Gilt im dort geregelten autonomen Betrieb, nicht als Beschreibung eines angeblichen frei wählbaren Opferalgorithmus jedes Assistenzsystems. ↩

  12. § 1b StVG: Rechte und Pflichten bei automatisierten Fahrfunktionen; § 1f StVG: Pflichten beim autonomen Betrieb, abgerufen am 21. Oktober 2026. Aufgabenverteilung und Aufsichtspflicht sind von der konkreten zivil- oder strafrechtlichen Haftungsprüfung zu unterscheiden; die Verantwortung des Fahrers schließt mögliche Herstellerverantwortung nicht aus. ↩

  13. § 63a StVG: Datenverarbeitung bei automatisierter Fahrfunktion, abgerufen am 21. Oktober 2026. Gesetzlich bestimmte Ereignisdaten, keine Behauptung einer lückenlosen Aufzeichnung sämtlicher Wahrnehmungen und Systementscheidungen. ↩

  14. NTSB Safety Compass: Williston and Beyond, 4. Dezember 2017. Behördlicher Fachbeitrag zu passiver Überwachung, Automatisierungsvertrauen und fehlender Übung; Übertragung auf betriebliche KI-Freigaben als Argument des vorliegenden Artikels. ↩

  15. Österreichisches Bundesministerium für Inneres: Autodaten als Beweis, Öffentliche Sicherheit, November/Dezember 2023. Beschreibt gerichtsverwertbare Beweisaufnahmen der Kfz-Forensik und die Umsetzung staatsanwaltschaftlicher Anordnungen. Die Fragen nach Nachrichten und Bedienhandlungen sind illustrative Ermittlungsfragen, keine Behauptung, jede Nutzung lasse sich lückenlos rekonstruieren. ↩

  16. NTSB: Abschlussbericht zum Unfall in Mountain View, HAR-20/01, 25. Februar 2020, insbesondere die Abschnitte zu Betriebsdaten, Mobiltelefon und Fahrerablenkung. Die Untersuchung bezeichnet die Ablenkung durch das Spiel als wahrscheinlich; digitale Aktivität ist nicht automatisch ein lückenloser Nachweis menschlicher Aufmerksamkeit. Die NTSB untersucht Unfallursachen, entscheidet aber nicht über strafrechtliche Schuld. ↩

  17. Daniel Omeiza, Helena Webb, Marina Jirotka und Lars Kunze: Explanations in Autonomous Driving: A Survey, 2021, angenommen in IEEE Transactions on Intelligent Transportation Systems. Überblick über Erklärungsverfahren für Wahrnehmung, Planung und Steuerung sowie unterschiedliche Anforderungen an Erklärungen. Kein Beleg dafür, dass jedes konkret eingesetzte Fahrzeug diese Verfahren implementiert. ↩

  18. Anthropic: Tracing the thoughts of a large language model, 27. März 2025. Eigene Interpretierbarkeitsforschung zu Claude 3.5 Haiku, einschließlich ihrer Grenzen und beobachteter unzutreffender Begründungen. Das englische Zitat stammt aus der Einleitung; die Aussagen beziehen sich auf Sprachmodelle und werden nicht als Untersuchung des Tesla-Systems ausgegeben. ↩

  19. NIST: Four Principles of Explainable Artificial Intelligence, NISTIR 8312, September 2021, insbesondere „Explanation Accuracy“. Unterscheidet verständliche Erklärungen von solchen, die den tatsächlichen Prozess korrekt wiedergeben. ↩

  20. Anthropic: Investigating three real-world incidents in our cybersecurity evaluations, 30. Juli 2026. Unternehmensbericht über unbefugte Zugriffe bei Tests, Fehlkonfiguration der Umgebung und fehlende zusätzliche Schutzsysteme. Kein unabhängiger Abschlussbericht und kein Beleg für einen absichtlichen Ausbruch oder eine Selbstverbreitung der Modelle. ↩

  21. Anthropic: An alignment assessment of recent cybersecurity incidents, September 2026, aktualisiert am 10. September. Das Unternehmen erklärt, seine Prüfungen vor Veröffentlichung hätten Fehlverhalten dieser Schwere nicht erkannt. Selbstauskunft des Herstellers; keine Gleichsetzung von Sprachmodell-Agenten mit Fahrzeugsteuerungen. ↩

Weiterdenken

Perspektive beitragen