Die Beschaffung von KI-Systemen sollte nicht mit alten Vertragsmustern umgesetzt werden

Der Artikel wurde erstmals in dem Branchenmagazin für die maritime Wirtschaft Schiff&Hafen, Ausgabe Nr. 9 | September 2025, im Rahmen der festen Kolumne „Navigate Digital Regulation“ von Dr. Philipp Etzkorn publiziert. Die Veröffentlichung in derSchiff&Hafen können Sie hier einsehen.

Der Einsatz künstlicher Intelligenz (KI) ist aus der Unternehmenspraxis nicht mehr wegzudenken. Branchenübergreifend werden vielfach Chatbots für das interne Knowledgemanagement oder für die externe Kundenkommunikation eingesetzt. Entsprechend gibt es auch viele KI-Systeme, die spezifisch auf die maritime Wirtschaft oder den Schiffsbetrieb ausgerichtet sind. Solche KI-Systeme sind etwa in der Lage, Schiffsbewegungen zu prognostizieren oder beschädigte Container zu identifizieren.

Aus anwaltlicher Sicht beobachten wir, dass aktuell sehr viele KI-Systeme „von der Stange“ beschafft oder die Erstellung individualisierter bzw. maßgeschneiderter KI-Systeme beauftragt wird – oftmals mit unpassenden Verträgen.

KI funktioniert anders als herkömmliche Software. Meist agiert sie wahrscheinlichkeitsbasiert und nicht anhand vorgegebener Regeln. Dies bringt für gewisse Einsatzfelder sehr viele Vorteile mit sich. Gleichzeitig hat der wahrscheinlichkeitsbasierte Ansatz aber auch Konsequenzen, die in bisherigen Softwareverträgen – seien es AGB oder individuell verhandelte Klauseln – oftmals nur unzureichend abgebildet sind. Das kann zu operativen Problemen oder Streitigkeiten im Schadensfall führen.

Leistungsbeschreibung

Bei der Leistungsbeschreibung von KI ist es wichtig, passende (und heute häufig in der Vertragspraxis noch unübliche) Kriterien zur Qualitätsmessung zu verwenden. Die jeweils passenden Parameter hängen dabei vom Einzelfall ab. 

Dies lässt sich gut an einem Klassifikationssystem zur Erkennung fehlerhafter Produktion illustrieren. Stellen wir uns vor, dass das KI-System kritische Sicherheitsbauteile prüft. Wichtig ist, dass keinesfalls Produktionsfehler unerkannt bleiben. Als fehlerhaft erkannte Produkte werden automatisch entsorgt. In diesen Fällen ist es wichtig, dass das System möglichst keine fehlerhaften Produkte als fehlerfrei klassifiziert. Gleichzeitig ist es zwar ökonomisch unvorteilhaft, aber weniger kritisch, wenn das System Produkte als fehlerhaft erkennt, die eigentlich fehlerfrei sind, und diese dann automatisch entsorgt werden.

Jede Entscheidung eines solchen KI-Systems kann einer der folgenden abstrakten Kategorien zugeordnet werden: 

• (1) True Positive: das Produkt ist laut System fehlerfrei und tatsächlich fehlerfrei;
• (2) True Negative: das Produkt ist laut System fehlerhaft und tatsächlich fehlerhaft;
• (3) False Positive: das Produkt ist laut System fehlerfrei aber tatsächlich fehlerhaft;
• (4) False Negative: das Produkt ist laut System fehlerhaft aber tatsächlich fehlerfrei.

Während die Werte True Positive und True Negative immer möglichst hoch sein sollten, ist die Bedeutung der Werte False Positive und False Negative stark abhängig vom konkreten Einsatzzweck des KI-Systems. 

In obigem Beispiel sollte der Wert False Positive möglichst niedrig sein, um zu vermeiden, dass ein tatsächlich fehlerhaftes Produkt als fehlerfrei eingeordnet und in Verkehr gebracht wird. Der Wert False Negative hingegen hat hier insbesondere ökonomische Bedeutung.

Solche Leistungsmetriken reflektieren den wahrscheinlichkeitsbasierten Ansatz von KI-Systemen und können eine Möglichkeit sein, die Leistung konkret zu beschreiben. Dies sollte sich im Vertrag entsprechend wiederfinden.

Verantwortlichkeiten/ Haftung

Insbesondere bei generativen KI-Systemen ist das Thema Haftung und Verantwortlichkeit wichtig.

KI-Systeme können halluzinieren, also unzutreffende oder erfundene Inhalte als Output generieren. Auch dies liegt – vereinfacht gesagt – darin begründet, dass die Systeme wahrscheinlichkeitsbasiert arbeiten und nicht „logisch denken“. In der Praxis kann es etwa dazu kommen, dass ein Chatbot einem Kunden zu niedrige Preise oder nicht einzuhaltende Lieferzeitfenster zusagt. Es sollte zwischen den Parteien geklärt sein, in welchem Rahmen solche Fehler möglich sind (siehe oben zur Leistungsbeschreibung) und wer für die Konsequenzen eines solchen Fehlers aufkommt. 

Umgang mit Input und Fine-Tuning

Schließlich ist ein ganz zentraler Punkt, wie der Anbieter des KI-Systems mit kundenspezifischen Anpassungen (Fine-Tuning) des Systems umgeht. Regelmäßig wird es für Unternehmen notwendig sein, ein KI-System an die eigenen Bedürfnisse anzupassen. Dies kann beispielsweise durch das Training mit unternehmenseigenen Daten oder durch die Schaffung neuer Schnittstellen zu gewissen (internen) Datenbanken erfolgen. Während der Anbieter des KI-Systems regelmäßig ein Interesse daran haben wird, solche Optimierungen oder zusätzlichen Schnittstellen in den Standard aufzunehmen, wird das Unternehmen „seine“ spezifischen Anpassungen schützen wollen. Klare Klauseln diesbezüglich vermeiden spätere Streitigkeiten. 

Gleiches gilt für die Eingaben des individuellen Nutzers. Es ist nicht unüblich, dass sämtliche Eingaben in ein KI-System für die Fortentwicklung des Systems verwendet werden. Dies gilt teilweise auch für kostenpflichtige KI-Systeme. Hier ist, insbesondere im Kontext von personenbezogenen Daten und Geschäftsgeheimnissen, besondere Vorsicht geboten. In solchen Fällen ist vertraglich zu vereinbaren, dass ein solches Training mit Kundendaten nicht erfolgt.

Im Rahmen der Kolumne „Navigate Digital Regulation” bereits erschienen:

Rechtliche Klippen bei der Digitalisierung sicher umschiffen

Der Data Act erfordert eine Anpassung der eigenen (Muster-)Verträge

IT-Projekte durch Verträge ohne Schiffbruch meistern

Datenhoheit: Wer hat das Ruder in der Hand?