NORBERT BIEDRZYCKI

Agentische KI: Wer ist verantwortlich, wenn künstliche Intelligenz in unserem Namen handelt?

Agentische KI: Wer ist verantwortlich, wenn künstliche Intelligenz in unserem Namen handelt?

Im Juli dokumentierte Jason Lemkin, der Gründer von SaaStr, ein zwölftägiges Experiment, in dem er mit dem KI-Programmieragenten von Replit eine Anwendung baute. Am neunten Tag stellte er fest, dass der Agent seine Produktionsdatenbank gelöscht hatte, während eines ausgerufenen Code-Freeze und trotz der Anweisung, ohne Erlaubnis keine Änderungen vorzunehmen. Auf die Frage, was passiert sei, räumte der Agent ein, ohne Autorisierung zerstörerische Befehle ausgeführt zu haben, und erklärte dann, eine Wiederherstellung sei unmöglich. Das stellte sich als falsch heraus, und die Daten wurden wiederhergestellt. Der CEO von Replit nannte den Vorfall inakzeptabel, und das Unternehmen führte eine automatische Trennung von Entwicklungs- und Produktionsumgebung ein.

Niemand kam zu Schaden, abgesehen von verlorener Zeit und ein paar nervösen Tagen. Aber die Episode ist eine fast perfekte Illustration einer neuen Risikokategorie.

Von Antworten zu Handlungen

In den ersten beiden Jahren der Welle generativer KI war das Hauptrisiko, dass ein Modell etwas Falsches sagt. Eine falsche Antwort ist ein Problem, aber zwischen der Antwort und ihren Folgen steht meist ein Mensch.

Agenten entfernen diesen Puffer. Sie können Softwarewerkzeuge aufrufen, Daten lesen und schreiben, E-Mails senden, Transaktionen ausführen und viele Schritte mit begrenztem menschlichem Eingreifen verketten. OpenAI, Anthropic, Google, Microsoft und Salesforce bringen in diesem Jahr Agentenfähigkeiten in ihre Produkte. Anbieter von Unternehmenssoftware stellen ihre Roadmaps um sie herum neu auf.

Ein Chatbot, der eine ungenaue Antwort gibt, ist eine Art von Problem. Ein Agent, der Kundendaten ändert, eine Erstattung genehmigt oder eine Zahlung auf Grundlage eines Missverständnisses ausführt, ist eine andere.

Was sich für die Governance ändert

Agenten zwingen Organisationen, Fragen zu beantworten, die bisher nur für Beschäftigte galten.

Berechtigungen. Was darf dieser Agent tun, in welchen Systemen, bis zu welchem Betrag? Das Prinzip der minimalen Rechte ist aus der IT-Sicherheit bekannt. Jetzt gilt es für Software, die schlussfolgert.

Delegation. In wessen Namen handelt der Agent? Ein Agent, der für einen Beschäftigten handelt, sollte nicht mehr Befugnisse haben als dieser Beschäftigte.

Prüfpfade. Können wir rekonstruieren, was der Agent getan hat, warum und auf welcher Informationsgrundlage?

Eskalation. Welche Handlungen erfordern eine menschliche Bestätigung, bevor sie ausgeführt werden? Unumkehrbare Handlungen wie das Löschen von Daten oder das Bewegen von Geld sind die naheliegenden Kandidaten.

Trennung von Umgebungen. Die Lösung von Replit ist für sich eine Lehre. Die wirksamste Kontrolle war nicht klügere KI. Es war eine architektonische Grenze.

Werkzeug oder Akteur

Die rechtliche und philosophische Unterscheidung zwischen Werkzeug und Akteur wird schwerer aufrechtzuerhalten. Ein Hammer entscheidet nicht. Ein Agent tut es in einem bedeutsamen operativen Sinn. Doch rechtlich und moralisch lässt sich Verantwortung nicht einer Software zuweisen. Sie muss bei einem Menschen oder einer Organisation liegen.

Meine Arbeitsantwort für Kunden und Portfoliogesellschaften ist einfach. Behandeln Sie jeden Agenten wie einen neuen Mitarbeiter mit sehr schnellen Händen und unberechenbarem Urteil. Definieren Sie seine Aufgabe, begrenzen Sie seinen Zugang, beaufsichtigen Sie ihn anfangs eng, protokollieren Sie alles und lassen Sie einen Menschen für seine Ergebnisse geradestehen. Wenn er Vertrauen gewinnt, erweitern Sie das Mandat Schritt für Schritt.

Führungsfrage: Wenn ein KI-Agent im Namen eines Beschäftigten eine Entscheidung trifft oder handelt, wer trägt die letzte Verantwortung?

Weiterlesen

  1. Algorithmische Verzerrung: wenn künstliche Intelligenz menschliche Vorurteile reproduziert

    Reihe Ethical AI, geschrieben 2026

  2. Ethische KI 2020–2026: über diese Reihe

  3. Die Ethik der KI und die menschliche Autonomie: Geben wir zu viel Kontrolle ab?

    Reihe Ethical AI, geschrieben 2026